1993年，互聯網還很小。

我每天早上都會收到一個叫做《what’s new on the web》的郵件，上面會列出所有新出現的網站。

沒錯，是所有的新網站。

我常常一邊喝咖啡，一邊瀏覽這些網站，通常10點鐘之前就能看完。

無聊的時候，我開始自學Perl，嘗試寫網絡爬蟲，這些爬蟲是有用的，比如可以用來做網站目錄，統計文檔數，檢查死鏈，網頁評價大小等等。

在測試的時候，我選擇了一個極為愚蠢的起始URL：一個講網絡爬蟲的知識的網站。

這個網站運行在一家非常小的公司的服務器上，而且只有一條14.4K的專線。（別覺得14.4K很小，我們公司200人，也就租了一個64K的專線）。

我的爬蟲無意間進行了一次拒絕服務攻擊（DoS），把那個網站搞垮了。

負責那個網站的人叫馬丁(Martijn Koster) ，他很生氣，立刻要求我停止那些瘋狂的請求。

馬丁不是一般人，他發明了世界上第一個Web搜索引擎AliWeb。

當他意識到網絡爬蟲可能泛濫的時候，他發明了一套標準的流程：“機器人排除協議”（Robots Exclusion Protocol）。

當你的網絡機器人訪問一個新網站時，需要先去找一個叫 robots.txt 的文件，解析它，然后避開里面列出的目錄或文件。

例如，如果robots.txt長這個樣子：

User-agent: googlebot

Disallow: /private/

它的意思是對于googlebot這個網絡爬蟲，不允許抓取/private這個目錄下的內容。

我覺得我可能寫了第一個遵守 robots.txt 協議的爬蟲，但可以肯定的是，我是那個逼得它被發明出來的蠢蛋。

0 1

君子協定，神奇運行30年

上面的故事來自查爾斯·斯特羅斯 (Charles Stross) 的自述，非常生動地講述了robots.txt被發明的過程。

它并不是一個委員會設計出來的規范，而是早期的互聯網用戶為了解決問題被迫發明的方法。

馬丁只是把這個辦法發到了WWW-Talk的郵件列表中，然后成員們討論robots.txt的基本語言和結構，最后達成一致，所有人都開始支持robots.txt。

它不像TCP/IP，你不支持就無法聯網，它是一個君子協定，是否遵守完全看網絡爬蟲編寫者的意愿。

這有點兒像在你敞開的房間門口立上一塊牌子：禁止入內。

網絡爬蟲/機器人看到了，就真的不進入這個房間了，不管這個房間里有多少寶貝。

讓人驚奇的是，在長達30年的時間內，robots.txt運轉良好。

為什么它能活下來？

在早期，原因只有一個：不守規矩的機器人，會被全網封殺

在那個小圈子里，“流氓機器人”的IP會被拉黑，域名會被公開點名，這是致命的名譽風險。

0 2

最遵守robots.txt的公司贏了

時間很快來到90年代末，互聯網迅猛擴張，海量的網站一個上午絕對是看不完了。

那些藏在世界各地的網站，不通過搜索引擎，無論如何也是找不到的。

于是，搜索引擎和網站之間就robots.txt達成了完美的默契。

網站允許Google爬蟲抓取自己的網頁，這樣它們就可能展示到搜索結果中，給自己帶來巨大的曝光流量。

而Google也嚴格遵循robots.txt的規定，將流量導致其他網站，同時在搜索結果中投放廣告。

這是一次極為成功的價值交換：你讓我爬數據，我給你流量。

雖然robots.txt此時已經成為事實標準，但世界那么大，總有不遵守robots.txt的公司。

尤其是那些信息聚合網站，無視robots.txt的約定，從別人的網站抓取數據（例如新聞，產品信息），聚合后放到自己的網站上。

例如美國的Bidder's Edge（簡稱BE），它建立了一個拍賣信息的聚合網站，專門從包括eBay在內的各個拍賣網站去收集信息，這樣BE的用戶就可以輕松搜索互聯網上的拍賣信息，而無需訪問單獨的拍賣網站。

這eBay肯定不能忍，由于robots.txt是個君子協定，它只好去限制BE爬蟲的IP地址，但是BE通過代理服務器，繞過了IP的限制。

eBay沒辦法，最后一紙訴狀把BE告上了法庭，2000年5月，法院以非法入侵為由，禁止BE以任何自動手段抓取eBay服務器的數據。

0 3

君子協議被撕毀

2017年，一個致力于保存互聯網的網站“互聯網檔案館”，干了一件震動圈子的事情：不再遵守robots.txt。

互聯網檔案館的理由很直接：robots.txt是為了“搜索”設計的，我的目標是保存所有網頁的快照，保存人類的互聯網文明，所以沒必要遵守。

不過這件事兒沒有引起太大波瀾，因為互聯網檔案館是個非盈利的機構，它即使不遵守robots.txt，把所有數據都爬了下來，但依然免費開放，不會拿這些數據去盈利。

但是對于AI公司來說，一切都不一樣了。

如果你開了一家AI公司，嚴格遵守robots.txt，而你的競爭對手通過換UA/IP，偷偷地多抓取一些，結果會如何呢？

你公司的模型由于訓練數據少，自然比不上競爭對手。

用戶會因為你的道德規范高而支持你嗎？不會，他們肯定都跑到競爭對手那里去了。

“如果我守規矩，而對手不守，我就輸了，所以我也不能遵守”。

抓數據其實也沒啥，要命的是流量無法回流到網站了：

（1）網站內容被吸干，流量消失。

（2）AI直接給出答案，用戶再也不會去原來的網站。

（3）內容的創作者，喪失署名權，沒有分成。

所有的網站都感受到脊背發涼：AI不是給我帶來流量的，而是來取代我的。

所以，一定要屏蔽掉那些AI公司的爬蟲！

2023 年，Originality.AI統計發現，在訪問量最高的 1000 個網站中，有 306 個在其 robots.txt 文件中屏蔽了 OpenAI 的 GPTBot，85 個屏蔽了谷歌的 Google-Extended。

BBC 和 《 紐約時報》 等新聞網站普遍禁止訪問 GPTBot。2023 年，博客平臺 Medium 宣布將禁止所有人工智能網絡爬蟲訪問。

OpenAI也擺出了高姿態，說要遵守robots.txt，自家爬蟲的名字就叫GPTBot，它還發布并推廣了一個頁面，“貼心”地教人們如何在robots.txt中屏蔽它。

但是，這一切發生在“強大的底層模型已經訓練完成之后”。

換句話說：“你的模型已經吃飽了，你才開始講禮貌？” 這誰受得了？

robots.txt 是建立在“善意 + 搜索回流”之上的制度，而 AI 打破了這三點。

0 4

尾聲

robots的結構性缺陷，在AI時代徹底暴露。

2025 年，非營利組織 RSL Collective 宣布推出Really Simple Licensing（RSL），對robots.txt進行了一次升級，允許網站發布者在 robots.txt 中明確設置 AI 爬蟲的使用條款，例如：

AI-Commercial: license-required

RSL 標志著 robots.txt 從“爬蟲禮貌手冊”升級成了“產權聲明”，它不阻止AI，而是想讓AI回到一個可以談條件，講規則的世界。

那些巨頭們會不會遵守RSL呢？ 讓我們拭目以待吧！