?。▓D片由AI生成 周蔚制作）

　　導讀：

　　◆數字時代，網絡爬蟲已深度嵌入產業運行、信息檢索、市場分析與AI大模型訓練。技術本中立，可一旦突破授權、繞過防護、批量竊取數據，用于非法牟利，便淪為“越界”的爬蟲，帶來各種威脅與風險。

　　◆“爬蟲越界”的攻擊目標正從傳統消費互聯網向產業互聯網、政務系統、醫療數據平臺、車聯網等領域蔓延。這一趨勢意味著“爬蟲越界”行為的危害不再局限于擾亂市場競爭或侵犯個人隱私，而是可能直接威脅產業安全、公共安全乃至國家安全。

　　◆受訪專家認為，在當前建設數字中國的大背景下，應當三管齊下，構建“技術共治+協同監管+法治保障”的預防性反爬蟲體系。

　　短時間內，企業付費數據突然被“偷空”；用戶剛在直播間停留幾秒，立刻接到推銷商品的電話；消費者不滿意外賣商品留下差評，就被電話短信騷擾要求刪掉……很多人以為這些情況只是數據或者個人信息泄露導致的，實際上，這些糟心事背后，還藏著同一只黑手——越界的網絡爬蟲。

　　網絡爬蟲，又稱網絡蜘蛛或網絡機器人，是互聯網時代一項普遍使用的網絡信息搜集技術，最早應用于搜索引擎領域，是搜索引擎獲取數據來源的支撐性技術之一，可用于新聞匯聚、價格對比、信息聚合等場景。

　　依照技術中立性原則，網絡爬蟲本身并無法律層面上的合法違法之分，但如果有人濫用這種技術，讓網絡爬蟲非法爬取數據，就可能會損害數據安全和隱私，影響公正有序的數字經濟秩序。

　　一邊是網絡爬蟲高效應用于數字經濟各種場景，另一邊卻是有人利用網絡爬蟲瘋狂“偷數據”……互聯網時代，爬取數據的紅線在哪兒？當前的反爬機制效果如何？AI時代又該如何守住數據安全？

　　“爬蟲越界”引發連鎖反應

　　在現實生活中，“爬蟲越界”的核心目的是竊取數據，但其引發的連鎖反應卻會給企業生存、公民隱私乃至生命安全帶來極大隱患。

　　從8億余條餐飲核心數據的“搬家”，到直播間用戶隱私的“裸奔”，再到因停車數據泄露引發的惡性人身傷害，“爬蟲越界”導致的犯罪行為，不僅打破了企業的核心商業壁壘，更將普通網民置于電信網絡詐騙、惡意騷擾甚至暴力威脅的邊緣。

　　2025年，上海市普陀區檢察院辦理了一起餐飲商超數據被“爬”走的案件。據辦案檢察官朱鵬錦介紹，該案中，犯罪分子利用爬蟲技術非法爬取8億余條餐飲商超數據以及地圖數據，直接造成被害企業服務器維護與引流成本激增，經核算，直接經濟損失5萬余元。更關鍵的是，商家信息、用戶點評、地理位置等核心經營資源被竊取，導致企業喪失對核心資源的可控性，潛在商業收益被分流，還面臨用戶信任受損、品牌聲譽下降等風險。

　　在平臺秩序破壞方面，上海市閔行區檢察院辦理的“順風車搶單外掛案”較具代表性。犯罪分子破解平臺算法，利用爬蟲程序批量抓取訂單數據并開發搶單程序，向司機售賣使用權限，非法獲利140余萬元。辦案檢察官王小曼介紹，該爬蟲程序不僅直接突破了順風車平臺的安全防護體系，嚴重威脅企業數據與系統安全，還徹底打亂了平臺公平派單的機制，嚴重破壞了正常運營秩序與市場公平競爭環境。同時，犯罪分子還形成“開發—銷售—使用”黑色產業鏈，倒逼平臺持續投入高額資金加固安全防護系統，大幅增加了企業的安全運營成本。

　　在個人信息保護領域，“爬蟲越界”的危害更為直接。江蘇省南通市海門區檢察院辦理了一起直播間“暴力獲客”案，辦案檢察官張彬告訴《方圓》記者：“此案中，犯罪分子將短視頻直播間變為黑產‘獵場’，利用爬蟲程序爬取大量公民個人信息數據，甚至為電信網絡詐騙、裸聊敲詐等違法犯罪引流，直接侵害公民個人隱私與財產安全，并形成長期、擴散性安全風險?！?/p>

　　更為嚴重的是，“爬蟲越界”引發的危害已從數據泄露傳導至威脅人身安全。江蘇省徐州市曾發生一起由公民停車數據泄露引發的惡性案件，而這背后也有爬蟲的影子。男子黎某與前妻張女士離婚后心存怨恨，一直伺機報復，于是聯系上“私家偵探”，支付錢款委托對方尋找張女士駕駛車輛軌跡?！八郊覀商健蓖ㄟ^韓某非法爬取停車平臺系統數據，得到了張女士的行車軌跡。掌握張女士的車輛位置后，黎某蹲守并將其挾持到車內，揮刀相向。經鑒定，張女士的右肺破裂損傷，構成重傷二級。

　　從檢察機關辦理的上述案件來看，“爬蟲越界”導致的危害不容小覷。辦理過全國首例短視頻平臺領域網絡爬蟲案的江蘇省無錫市梁溪區檢察院第三檢察部副主任陶艷華告訴《方圓》記者：“辦理涉網絡爬蟲犯罪案件的重點在于，必須緊扣法律規定，進行全鏈條審查、多維度印證，既要嚴厲打擊惡意爬取行為，也要為合法數據利用與技術創新保留空間。實踐中，電子數據固定審查難、技術事實認定難、跨區域取證管轄難，仍是此類案件辦理中的突出挑戰?！?/p>

　　“爬蟲越界”攻防戰

　　2025年4月23日，最高人民檢察院舉行“以高質效知識產權檢察履職服務高水平科技創新”新聞發布會，最高檢知識產權檢察廳副廳長劉太宗在發布會上表示，近年來，利用深度鏈接、網絡爬蟲、架設游戲私服、電子侵入等新技術手段侵犯知識產權犯罪案件不斷出現。檢察機關充分發揮偵查監督與協作配合、重大疑難案件聽取意見等機制作用，加大對新類型犯罪的打擊力度。

　　早在2023年12月28日，最高檢印發的檢察機關依法懲治侵犯著作權犯罪典型案例中，就公布了一起利用網絡爬蟲技術侵犯著作權的案件。2021年8月至2022年4月，柯某某為獲取非法利益，在未經著作權人授權的情況下，采用“火車采集器”爬蟲軟件，從優酷、騰訊、愛奇藝等視頻網站采集5萬余部電影、電視劇等視聽作品網頁版播放地址數據，存儲在租用的服務器上?？履衬惩ㄟ^技術解析的方式，將存儲在服務器上的視聽作品轉載到其個人運營管理的網站及“某某影院”App上，提供給網民免費觀看。同時，柯某某承接廣告業務，在“某某影院”App上投放開屏廣告，以廣告展現量計酬收取廣告費，非法獲利共計35萬余元。最終柯某某被法院以侵犯著作權罪判處有期徒刑三年，緩刑四年，并處罰金40萬元。

　　隨著數字經濟的發展，除了網絡小說、影視劇、原創在線課程等數字版權內容成為不法分子利用網絡爬蟲爬取的目標之外，個人信息、企業核心數據也成了網絡“爬蟲越界”爬取的主要內容。比如，北京市朝陽區法院審理的一起案件中，A公司員工董某某為竊取競爭對手B公司住房經營業務中的客戶信息，串通B公司員工姜某某、劉某某，登錄B公司業務系統后運行爬蟲程序，非法獲取系統內收、出房合同，合同中均記載有出租人及承租人的個人信息。董某某等人因犯侵犯公民個人信息罪分別被法院判處有期徒刑三年六個月至一年七個月不等，各并處罰金。

　　然而，利用網絡爬蟲技術實施的犯罪行為，早已不局限于單純的越界爬取數據。“當前涉及網絡爬蟲的犯罪手段也已升級，從過去利用非法爬蟲程序‘自己爬’轉向‘賣工具讓別人爬’，傻瓜化操作、模塊化打包，開發、售賣、使用三方分離，和電信網絡詐騙、盜版侵權、個人信息泄露等黑灰產深度綁定?！蓖跣÷颉斗綀A》記者分析了涉網絡爬蟲犯罪發展的新動向。

　　有攻就有防?！懊鎸E用網絡爬蟲實施犯罪的行為，目前國內已從技術防御和法律規制層面形成立體反爬蟲防線?！敝袊ù髮W刑事司法學院網絡法學研究所教授、博士生導師郭旨龍向《方圓》記者作了詳細的介紹——

　　從技術防御層面來看，主流生活服務及電商交易平臺已經構建起一套包含基礎層、進階層和智能層的“三層反爬矩陣”?！盎A層”主要承擔基礎門檻篩查的任務，包括IP封禁、UA（用戶代理）校驗、驗證碼攔截以及設備指紋確認等?！斑M階層”則側重于“查反常操作”，通過對賬號行為進行深度分析、人機識別和異常流量清洗，使平臺系統不再局限于單純校驗賬號與設備，而是進一步判斷用戶對賬號的操作習慣，以此精準排查出是否存在“非法爬蟲程序”?！爸悄軐印弊鳛樽罡呒墑e的防御體系，旨在實現“AI精準抓偽裝爬蟲”。它依托AI聚類、無監督檢測以及大模型威脅識別等前沿技術，專門應對高仿真的高級爬蟲。面對這類能夠偽裝IP、篡改設備信息并刻意模仿人類慢速操作的爬蟲，普通防線往往難以攔截，而智能層則能有效識破其偽裝。

　　從法律規制層面來看，我國已構建起行政監管、民事追責、刑事懲戒三位一體的立體化治理體系。行政監管領域，依托網絡安全法、數據安全法、個人信息保護法等多部法律，筑牢制度底線，明確各類主體數據獲取與網絡運行的合規要求；民事規制層面，主要通過起訴不正當競爭、著作權侵權等，追究侵權主體的民事責任；刑事懲戒維度，通過適用非法獲取計算機信息系統數據罪，提供侵入計算機信息系統程序、工具罪，侵犯公民個人信息罪，侵犯著作權罪等多項罪名，打擊各類涉數據網絡的犯罪行為。

　　“爬蟲越界”紅線在哪里？

　　“‘爬蟲越界’是指利用網絡爬蟲爬取數據，突破法律、行政法規以及行業公認的商業道德所設定的合理邊界，對他人合法權益、網絡系統安全或數字經濟秩序造成侵害或者顯著危險的行為。”北京大學法學院研究員、博士生導師江溯表示，“爬蟲越界”這一概念并非對網絡爬蟲技術的全盤否定，“越界”與否的關鍵不在于是否使用了該技術，而在于使用該技術的過程中是否逾越了法律所保護的權益邊界。他進一步指出：“判斷爬蟲是否越界的核心標準，在于其是否遵守了robots協議（也稱爬蟲協議、爬蟲規則等，是指網站可建立一個robots.txt文件來告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取，而搜索引擎則通過讀取robots.txt文件來識別這個頁面是否允許被抓?。?、是否突破平臺或系統的身份認證權限?！?/p>

　　那么，“爬蟲越界”行為是否必然構成犯罪？“刑法對‘爬蟲越界’的規制應該秉持謙抑的立場。即便滿足侵入并獲取數據的形式要件，也要通過實質違法性的判斷來守好入罪的邊界?！惫箭埥忉尩?，“比如爬取方單純造成了被爬取方的競爭利益損失，但爬取規模較小或服務器承載能力較強而幾乎不可能對服務器與數據安全造成威脅的場合，可通過反不正當競爭法等前置法所提供的行政或民事責任框架處理行為侵害?！?/p>

　　江溯認為，判斷爬取公開數據行為是否違法甚至犯罪，需要從三個維度綜合評判：首先是數據的實質屬性，若公開數據涉及公民個人信息或企業商業秘密，當爬蟲大規模收集并用于商業營銷等行為，可能超出合理范圍，構成侵權甚至犯罪；其次是技術保護措施，若行為人通過破解加密、逆向工程等手段規避平臺的技術限制進行批量抓取，即使數據本身公開，其手段的不正當性也足以使整體行為違法；最后是爬取后數據的使用方式，將公開數據原樣搬運以“實質性替代”原平臺服務，構成不正當競爭。因此，爬取公開數據的安全性并不取決于數據是否“公開”這一靜態標簽，而取決于爬取手段、目的和后果所構成的整體行為模式是否符合法律所認可的數據利用規則。

　　AI時代的破局之道

　　如今，人工智能技術已融入我們的生活，從日常出行、線上消費到辦公辦事，AI給人們帶來便利的同時，也伴隨著新的風險與挑戰。

　　“AI大模型訓練需要海量數據，訓練爬蟲大規模、全量爬取公開數據的合法邊界逐漸模糊不清；智能爬蟲模擬真人操作，使得網站及平臺‘區分合法爬蟲與惡意爬蟲’這一基礎性判斷變得異常困難；分布式爬蟲節點分散，辦理爬蟲案件過程中，相關的溯源、歸責、管轄等問題都是難題?！苯荼硎?，AI大模型訓練爬蟲、智能爬蟲與分布式爬蟲的興起，正在從多個維度沖擊傳統爬蟲法律邊界，使得既有的“授權訪問”“robots協議”“合理使用”等概念面臨解釋困境，亟須法律規則的更新與完善。

　　“數據要素市場化同樣催生了灰色爬取。”中國政法大學刑事司法學院副教授、博士生導師孫道萃表示，數據交易的火爆，使部分機構以“合規采集”為名，繞開授權批量爬取數據，加工售賣數據產品，游走在法律邊緣；商業數據、公共數據、個人信息交叉場景增多，合規要求不斷疊加，數據合理利用邊界更加模糊。

　　江溯同時指出：“目前‘爬蟲越界’的攻擊目標正從傳統消費互聯網向產業互聯網、政務系統、醫療數據平臺、車聯網等領域蔓延。這一趨勢意味著‘爬蟲越界’行為的危害不再局限于擾亂市場競爭或侵犯個人隱私，而是可能直接威脅產業安全、公共安全乃至國家安全。由此，刑事規制重點必須從‘系統安全’轉向‘數據安全與公共安全’并重，從事后打擊轉向事前預防、事中阻斷，從通用規制轉向行業專項治理?！?/p>

　　受訪專家認為，在當前建設數字中國的大背景下，應當三管齊下，構建“技術共治+協同監管+法治保障”的預防性反爬蟲體系。

　　首先，從技術維度上，升級智能反爬體系。平臺用AI從底層搭建新一代防御系統，專門對付各類爬蟲，實現早發現、早攔截、早溯源，防偷數據、防薅羊毛、防黑產；推行可信爬蟲白名單，對合規爬蟲開放白名單，限定頻率與用途；建立跨平臺共享機制，提升整體防御能力。

　　其次，從監測監管維度上，協同發力全鏈條打擊黑灰產。江溯建議，平臺依托大數據、人工智能技術，對互聯網爬蟲行為進行24小時監測、風險研判、預警處置，及時發現批量、高頻、侵入式惡意爬取行為，實現“早發現、早處置、早止損”。孫道萃建議，平臺應嚴格核驗運營主體資質，對涉及數據采集、爬蟲服務的工具加強安全檢測，一旦發現涉嫌非法爬取、侵犯個人信息的，應該立即下架、留存證據并報告監管部門，協助司法機關辦案與公眾維權。郭旨龍則建議網信部門、公安機關、市場監管部門、司法機關建立協同機制，常態化開展爬蟲亂象排查，對黑灰產業鏈進行嚴厲打擊。

　　最后，從法治維度上，加強法律規制。制定專門的爬蟲合規指引或部門規章，通過司法解釋厘清“未經授權”的判斷標準，推動健全完善“行政監管前置”機制，逐步彌合前置行政法與刑法之間的縫隙；強化公民個人信息、商業數據、關鍵數據的特殊保護；通過普法提升企業與公眾風險認知，形成“正規爬蟲受保護，越界爬蟲必追責”的共識。

　　“網絡爬蟲若被正規使用便是數字經濟的發動機，越界濫用則淪為數據黑灰產的作案工具。當前，在AI、大數據、產業數字化浪潮下，風險仍在迭代升級，只有堅持預防為先、技術為基、法治為綱、共治為本，從事后懲戒轉向事前預防，構建全鏈條、立體化、數智化治理體系，才能在保障數據合法流通與技術創新的同時，牢牢守住數據安全、個人信息保護與市場公平競爭底線，讓每個公民在這個時代感到安全放心?！睂O道萃坦言。

來源：檢察日報