根據(jù)Cloudflare發(fā)布的2025年度互聯(lián)網(wǎng)回顧報告，ChatGPT的網(wǎng)絡(luò)爬蟲GPTBot已成為互聯(lián)網(wǎng)上最受阻止的機器人，而其最大競爭對手谷歌則是最受允許的爬蟲。更有趣的是，雖然ChatGPT是最受阻止的機器人，但實際上Anthropic的Claude AI引擎對網(wǎng)站所有者來說是最缺乏互惠價值的服務(wù)。

每年，互聯(lián)網(wǎng)基礎(chǔ)設(shè)施公司Cloudflare都會發(fā)布互聯(lián)網(wǎng)現(xiàn)狀分析報告。今年的重要發(fā)現(xiàn)包括：

互聯(lián)網(wǎng)流量增長19%，星鏈流量激增130%。谷歌仍是最受歡迎的互聯(lián)網(wǎng)平臺，ChatGPT成為最受歡迎的AI問答引擎。Facebook依然是最受歡迎的社交服務(wù)，YouTube在流媒體領(lǐng)域獲勝。非人類機器人現(xiàn)在占互聯(lián)網(wǎng)流量的56.5%，而人類用戶僅占43.5%。

機器人使用情況分析

機器人使用量已超過互聯(lián)網(wǎng)活動的50%。最常見的機器人是谷歌和必應(yīng)等搜索引擎機器人，但增長最快的是來自AI服務(wù)的機器人，它們希望獲得谷歌已經(jīng)掌握的所有信息。GPTBot在夏末的使用量激增了305%。

然而，一些網(wǎng)站所有者不希望AI了解他們提供的所有內(nèi)容，因此通過robots.txt文件阻止AI爬蟲。這是一種簡單的方式來表達"不要查看我的內(nèi)容"。值得注意的是，遵守這一規(guī)定完全是自愿的，AI服務(wù)Perplexity就被指控忽視robots.txt聲明，無視限制繼續(xù)爬取網(wǎng)站。

爬蟲阻止與允許情況

2025年最受阻止的網(wǎng)絡(luò)爬蟲是OpenAI的GPTBot。第二受阻止的是CCBot，由一個聲稱維護開源網(wǎng)絡(luò)內(nèi)容數(shù)據(jù)庫的非營利組織提供。谷歌的爬蟲排名第三。

然而，由于人們?nèi)韵Ｍ麖墓雀璜@得網(wǎng)絡(luò)流量，谷歌的機器人也是互聯(lián)網(wǎng)上最受允許的機器人，其次是微軟的必應(yīng)機器人，第三名是OpenAI的GPTBot。

這種看似矛盾的現(xiàn)象反映了不同網(wǎng)站所有者的不同策略。一些網(wǎng)站所有者希望被看到和使用，認為這有助于他們成長；而另一些則選擇封閉，認為機器人在沒有充分補償?shù)那闆r下奪取了價值。

爬取與推薦比率分析

Cloudflare提供的爬取推薦比率圖表揭示了公司允許服務(wù)爬取其網(wǎng)站時的隱含交易條件。該比率很簡單：我的網(wǎng)站被機器人分析或搜索多少次，相對于該服務(wù)向我發(fā)送多少真實人類用戶。

傳統(tǒng)搜索引擎在這方面表現(xiàn)最佳，相比AI引擎提供更多回報流量：

谷歌：約10比1（每發(fā)送1個訪客需要10次爬?。?/p>

百度：約1比1

DuckDuckGo：約1比1

微軟：約100比1（主要是必應(yīng)）

Perplexity：約100比1

OpenAI/ChatGPT：約1000比1

Anthropic：約100000比1

作為網(wǎng)站所有者，1比1的爬取推薦比率幾乎是理想狀態(tài)，10比1還不錯，100比1甚至1000比1都可以理解。但100000比1意味著大量爬取卻幾乎沒有可察覺的回報。

其他有趣發(fā)現(xiàn)

Cloudflare 2025年雷達報告中最奇特的消息是，惡意和垃圾郵件最危險的域名是.christmas。因此在今年慶祝節(jié)日時，不要打開任何來自包含"Christmas"字樣域名的郵件。

報告還顯示，互聯(lián)網(wǎng)中斷的最大原因不是事故或災(zāi)難，而是政府指令關(guān)閉。美國占全球機器人流量的40%，5.6%的電子郵件包含惡意攻擊。

Q&A

Q1：GPTBot為什么成為最受阻止的網(wǎng)絡(luò)爬蟲？

A：GPTBot是ChatGPT的網(wǎng)絡(luò)爬蟲，用于收集互聯(lián)網(wǎng)信息并轉(zhuǎn)化為知識。許多網(wǎng)站所有者認為AI機器人在沒有充分補償?shù)那闆r下獲取了他們的內(nèi)容價值，因此選擇通過robots.txt文件阻止GPTBot訪問。同時，GPTBot的使用量在夏末激增了305%，增加了網(wǎng)站的負擔(dān)。

Q2：爬取推薦比率是什么意思？

A：爬取推薦比率是指AI服務(wù)或搜索引擎爬取網(wǎng)站的次數(shù)與向該網(wǎng)站發(fā)送真實用戶訪問次數(shù)的比例。例如，谷歌的比率約為10比1，意味著每爬取10次會發(fā)送1個用戶；而Anthropic的比率高達100000比1，意味著爬取10萬次才發(fā)送1個用戶，這對網(wǎng)站所有者來說價值極低。

Q3：為什么谷歌既是最受阻止也是最受允許的爬蟲？

A：這反映了不同網(wǎng)站所有者的不同策略。谷歌作為最大的搜索引擎，一些網(wǎng)站希望被谷歌收錄以獲得流量，因此允許其爬蟲；但另一些網(wǎng)站擔(dān)心內(nèi)容被過度利用而選擇阻止。谷歌的爬取推薦比率相對合理（約10比1），比AI服務(wù)提供更多回報流量。