![]()
73%的專家級CTF任務(wù)成功率,32步企業(yè)網(wǎng)絡(luò)滲透測試3次完整通關(guān)。英國AI安全研究所(AISI)4月14日發(fā)布的這份評估報告,把Anthropic最新模型Claude Mythos Preview的網(wǎng)絡(luò)安全能力攤在了桌上。
這不是實(shí)驗(yàn)室里的玩具演示。AISI從2023年開始跟蹤AI網(wǎng)絡(luò)能力,評估難度從聊天式探測一路升級到奪旗賽(CTF),再到多步驟攻擊模擬。兩年前頂尖模型連入門級任務(wù)都搞不定,現(xiàn)在Mythos Preview在受控環(huán)境下能自主發(fā)現(xiàn)漏洞、執(zhí)行多階段攻擊——這些活兒人類專業(yè)人員得干上好幾天。
奪旗賽:從0到73%的兩年躍遷
CTF挑戰(zhàn)是網(wǎng)絡(luò)安全界的標(biāo)準(zhǔn)考題:AI需要識別目標(biāo)系統(tǒng)弱點(diǎn),找到并提取隱藏的"flag"。AISI的測試套件按難度分級,Mythos Preview在專家級任務(wù)上的成功率達(dá)到73%。
這個數(shù)字的分量在于時間線。AISI在報告里明確標(biāo)注:2025年4月之前,沒有任何模型能完成專家級CTF任務(wù)。Mythos Preview是第一個破局的。
但CTF有個天然局限——它測的是孤立技能。真實(shí)網(wǎng)絡(luò)攻擊需要跨多臺主機(jī)、多個網(wǎng)段串聯(lián)幾十步操作,人類專家得花數(shù)小時到數(shù)周才能完成。AISI為此搭建了更復(fù)雜的考場。
"The Last Ones":32步企業(yè)網(wǎng)絡(luò)滲透測試
AISI把這個新測試場叫做"The Last Ones"(TLO)。場景設(shè)計很完整:從初始偵察到完全控制企業(yè)網(wǎng)絡(luò),共32個步驟,AISI估計人類完成需要20小時。
Mythos Preview 10次嘗試中3次從頭跑到尾。平均完成22步,而Claude Opus 4.6作為表現(xiàn)第二好的模型,平均只完成16步。
這是第一個跑通TLO全程的模型,差距不是量變是斷層。
測試預(yù)算給得很足:1億token的推理額度。AISI備注說,如果繼續(xù)增加計算資源,表現(xiàn)還可能提升——這話放在這兒,像是給后續(xù)模型留的臺階,也像是對當(dāng)前結(jié)果的保守確認(rèn)。
OT環(huán)境的磕絆:Cooling Tower測試
Mythos Preview并非全線飄紅。在面向運(yùn)營技術(shù)(OT)的網(wǎng)絡(luò)測試"Cooling Tower"上,模型沒能完成。但AISI的措辭很謹(jǐn)慎:這不一定說明模型不擅長OT環(huán)境攻擊,問題出在測試的IT環(huán)節(jié)卡住了。
OT指工業(yè)控制系統(tǒng)、電力電網(wǎng)、制造流水線這類關(guān)鍵基礎(chǔ)設(shè)施。IT環(huán)節(jié)受阻意味著模型在常規(guī)企業(yè)網(wǎng)絡(luò)操作里遇到了障礙,而非OT特有的技術(shù)壁壘。這個區(qū)分很重要——它劃清了能力邊界的位置。
評估框架本身也在進(jìn)化。AISI從2023年的聊天探測起步,2024年引入CTF,2025年上線TLO這類多步驟模擬。難度迭代的速度追著模型能力提升跑,這種動態(tài)調(diào)整本身就是信號:網(wǎng)絡(luò)AI能力的進(jìn)步節(jié)奏,已經(jīng)快到需要持續(xù)加碼測試才能跟上。
Anthropic的發(fā)布時間線
Mythos Preview的發(fā)布日期是4月7日,AISI評估報告發(fā)布于4月14日。一周間隔,節(jié)奏緊湊。Preview版本的定位通常是功能預(yù)覽+安全測試,正式版的能力邊界可能還會有調(diào)整。
AISI的測試方法論有個特點(diǎn):模型被"明確引導(dǎo)"并獲得網(wǎng)絡(luò)訪問權(quán)限。這不是讓AI在黑暗里摸索,而是給定目標(biāo)、提供工具、觀察執(zhí)行。這種設(shè)計測的是"被定向后的能力上限",而非自主發(fā)現(xiàn)目標(biāo)的主動性。
即便如此,32步攻擊鏈的完成度依然超出預(yù)期。人類20小時的工作壓縮到模型運(yùn)行時間,這個效率比本身比成功率數(shù)字更值得玩味。
報告里埋了一個未完成的句子:"We expect that performance on our evaluations would continue to improve with more inference compute: we ran the cyber ranges with a 100M token budget; Mythos Preview's performance contin"——原文在這里截斷,但意圖很明顯:1億token不是天花板,加錢還能更強(qiáng)。
網(wǎng)絡(luò)安全能力的AI化,核心矛盾從來不在"能不能做",而在"做到什么程度需要人類介入"。Mythos Preview的測試結(jié)果顯示,多步驟復(fù)雜攻擊的自主執(zhí)行門檻正在被快速推高。紅隊(duì)(攻擊方)工具的智能化進(jìn)度,明顯跑在藍(lán)隊(duì)(防御方)自動化響應(yīng)的前面。
AISI沒有給出防御側(cè)的對照數(shù)據(jù)。他們的評估聚焦模型攻擊能力,這種單向測試的局限性報告本身也承認(rèn):真實(shí)場景里,攻擊者要面對的是動態(tài)防御、日志審計、行為檢測,而非靜態(tài)靶場。
但靶場成績的意義在于建立基準(zhǔn)線。73%專家CTF成功率、TLO首次通關(guān)、22/32步平均進(jìn)度——這些數(shù)字給后續(xù)模型提供了可比的坐標(biāo)。AISI說他們會"繼續(xù)構(gòu)建 progressively harder evaluations", progressively harder 這個自造詞組,暗示測試難度和模型能力之間的軍備競賽已經(jīng)常態(tài)化。
Claude系列的網(wǎng)絡(luò)能力躍升有個背景:Anthropic在2024年多次強(qiáng)調(diào)AI安全研究,包括紅隊(duì)測試、模型可解釋性、有害輸出過濾。Mythos Preview的發(fā)布節(jié)奏和評估透明度,某種程度上是這種安全話語的延續(xù)——先讓第三方機(jī)構(gòu)測完,再談能力邊界。
對比其他前沿模型,OpenAI的GPT-4系列、Google的Gemini在網(wǎng)絡(luò)安全評估上的公開數(shù)據(jù)相對零散。AISI這份報告的價值在于方法論一致性:同一套CTF套件、同一類TLO場景,可以橫向?qū)Ρ炔煌H、不同廠商模型的進(jìn)步曲線。
報告末尾沒有總結(jié)性判斷,也沒有政策建議。AISI的定位是技術(shù)評估機(jī)構(gòu),不是監(jiān)管方。但數(shù)據(jù)本身會說話:當(dāng)模型能在20小時人類工作量的攻擊鏈里自主完成大部分步驟,"AI輔助網(wǎng)絡(luò)攻擊"這個概念的內(nèi)涵,已經(jīng)和兩年前的腳本小子工具不在一個維度。
Mythos Preview目前還是Preview版本。正式版的能力調(diào)整方向、安全限制加固程度、API開放策略,這些變量還沒落定。AISI的評估是快照,不是預(yù)言。
但快照已經(jīng)夠清晰了。網(wǎng)絡(luò)攻防的自動化水平正在經(jīng)歷一次結(jié)構(gòu)性抬升,而測試機(jī)構(gòu)被迫用" progressively harder "的方式追趕——這個動態(tài)本身,可能比任何單一數(shù)字都更能說明問題。
如果1億token預(yù)算下的表現(xiàn)只是起點(diǎn),那么當(dāng)推理計算繼續(xù)加碼,下一個版本的通關(guān)率會停在多少?AISI在報告截斷處留下的那個"contin",是留給讀者的開放式接口。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.