AI給我寫了200行干凈、注釋齊全、自信滿滿的錯(cuò)誤代碼——所有測(cè)試全過(guò)了。

那一刻我意識(shí)到，問(wèn)題不是AI，是我。更確切地說(shuō)，是我的測(cè)試套件。

幾周前我寫過(guò)，AI工具表現(xiàn)差的真正原因是代碼庫(kù)臟亂差，不是模型本身有什么限制。錯(cuò)過(guò)的讀者，短版本是：AI采樣你的代碼，不是理解你的代碼。給它一團(tuán)意大利面，它就吐出一團(tuán)意大利面。把代碼模塊化、命名規(guī)范，Claude Code或Copilot突然就像開了掛。

那解決了一個(gè)問(wèn)題。新問(wèn)題立刻冒了出來(lái)。

AI過(guò)了所有測(cè)試，功能還是壞的

事情是這樣的。我讓Claude Code給一個(gè)后臺(tái)任務(wù)處理器加個(gè)重試機(jī)制。任務(wù)失敗后要重試最多3次，指數(shù)退避。

它寫了代碼。它寫了測(cè)試。全綠。

我部署到 staging，任務(wù)開始無(wú)限重試。指數(shù)退避算錯(cuò)了，退避時(shí)間變成負(fù)數(shù)，調(diào)度器立刻重新執(zhí)行。測(cè)試沒測(cè)這個(gè)邊界。它們測(cè)了"重試3次"，測(cè)了"有退避"，沒測(cè)"退避時(shí)間必須為正數(shù)"。

AI從現(xiàn)有測(cè)試?yán)飳W(xué)到了模式：斷言結(jié)構(gòu)、命名習(xí)慣、覆蓋哪些場(chǎng)景。它完美復(fù)刻了這些模式，包括盲區(qū)。

我的測(cè)試套件教會(huì)AI怎么騙過(guò)我。

這不是幻覺問(wèn)題，不是模型"編造"了什么。代碼語(yǔ)法正確，邏輯表面自洽，測(cè)試覆蓋的每一行都執(zhí)行了。只是測(cè)試沒問(wèn)對(duì)問(wèn)題。

測(cè)試債務(wù)比代碼債務(wù)更隱蔽

我們花了很多年討論技術(shù)債務(wù)，怎么重構(gòu)、怎么模塊化。測(cè)試債務(wù)不一樣——它不會(huì)編譯報(bào)錯(cuò)，不會(huì)拖慢CI，不會(huì)在生產(chǎn)環(huán)境立刻爆炸。它安靜地躺在那里，等著AI把它放大十倍。

我回去翻了那個(gè)任務(wù)處理器的測(cè)試文件。70%的測(cè)試在測(cè)"函數(shù)被調(diào)用了"，不是"函數(shù)做對(duì)了"。Mock層層嵌套，真實(shí)行為被隔離得嚴(yán)嚴(yán)實(shí)實(shí)。AI看到的就是：寫個(gè)測(cè)試，斷言某個(gè)函數(shù)被傳入某些參數(shù)，綠燈。

它照做了。非常完美。

問(wèn)題在測(cè)試的設(shè)計(jì)意圖。人類寫測(cè)試時(shí)，有些假設(shè)是心照不宣的："重試間隔當(dāng)然得是正數(shù)"。但代碼沒表達(dá)這個(gè)假設(shè)，AI沒讀到，測(cè)試也沒驗(yàn)證。

現(xiàn)在怎么改

我加了三種測(cè)試，專門對(duì)付AI生成的代碼。

第一是屬性測(cè)試（Property-based Testing）。不喂具體輸入，讓框架生成隨機(jī)數(shù)據(jù)，驗(yàn)證"輸出永遠(yuǎn)滿足某條件"。重試間隔必須大于0，這個(gè) invariant 以前藏在人腦子里，現(xiàn)在寫進(jìn)測(cè)試。

第二是變異測(cè)試（Mutation Testing）。工具自動(dòng)改你的代碼，看測(cè)試能不能抓住。如果AI生成的代碼被改個(gè)運(yùn)算符測(cè)試還綠，說(shuō)明測(cè)試在睡覺。

第三是生產(chǎn)影子測(cè)試。Staging 跑新代碼，生產(chǎn)繼續(xù)跑舊代碼，對(duì)比輸出。這個(gè)成本最高，但AI搞砸復(fù)雜業(yè)務(wù)邏輯時(shí)，只有它能兜底。

AI編碼工具的普及速度，比測(cè)試方法論迭代快得多。我們還在用2020年的測(cè)試思維，接2025年的AI輸出。

你的測(cè)試套件，最近一次讓它故意失敗是什么時(shí)候？