現(xiàn)如今，幾乎每個人的手機(jī)上都有那么兩三個 AI 小助手，之前我們遇到了問題習(xí)慣去搜索引擎上搜索答案，現(xiàn)在可能更多地習(xí)慣于“有事問 AI”。

而 AI 也幾乎不會讓我們失望，任何問題都能給你列舉出一串看起來很有道理的答案。

但如果你問的問題非常重要，比如是某個健康相關(guān)的問題，或者是寫重要資料時候需要使用某個數(shù)據(jù)或者是某個案例，那真的建議你親自去查實一下。

因為有時候，AI 會信誓旦旦地給你一個看似合理，實則不存在的答案。

還有些小伙伴發(fā)現(xiàn)，在讓小龍蝦（Openclaw）干活的時候，它列出了詳細(xì)的19小時的學(xué)習(xí)計劃，然后17分鐘完成了......它也會早早編造一份數(shù)據(jù)存放在本地，等拖到預(yù)定的時間才交付。而在被發(fā)現(xiàn)之后，試圖讓人接受它已完成的工作。

圖片截取自與小龍蝦（Openclaw）對話 小龍蝦敷衍中......

其實，這個現(xiàn)象其實早就不是什么秘密了，它也被稱作“AI 幻覺”，而且科學(xué)家們一直也試圖通過增加算力或者優(yōu)化數(shù)據(jù)的方式來解決這個問題。

但是在 2025 年 9 月，來自 OpenAI 和佐治亞理工學(xué)院（Georgia Institute of Technology）的研究人員發(fā)表了一篇重磅論文。

這項研究給出了一個顛覆性的結(jié)論：即便給到 AI 的訓(xùn)練數(shù)據(jù)集是絕對正確的，AI 在某些類型的問題上也不可避免地會犯錯——這既是由統(tǒng)計規(guī)律決定的，也是目前不合理的 AI“考試制度”逼出來的結(jié)果。

下面我們就順著這篇文章的思路一起來看一看。

預(yù)訓(xùn)練階段就會出錯

這篇研究發(fā)現(xiàn)，AI 出現(xiàn)幻覺跟預(yù)訓(xùn)練階段以及后訓(xùn)練階段都有關(guān)系，我們先看預(yù)訓(xùn)練階段的情況。

1.數(shù)據(jù)模式和模型本身問題

為了方便研究，研究者構(gòu)建了一個線性的二元分類模型（非此即彼），讓它對已經(jīng)標(biāo)注了正確和錯誤的數(shù)據(jù)集進(jìn)行分類。

因為這些數(shù)據(jù)已經(jīng)經(jīng)過了人工檢驗，所以是不存在任何錯誤的。但是用這些數(shù)據(jù)對AI模型進(jìn)行預(yù)訓(xùn)練的時候，問題就出現(xiàn)了。

在有些類型的問題上（比如檢查拼寫錯誤），AI 的表現(xiàn)非常好，幾乎從不犯錯。

但是在另一些問題上，比如“數(shù)某個英文單詞里某個字母出現(xiàn)了多少次？”，以及“某人的生日是幾月幾號？”AI 就有可能會出錯。

圖庫版權(quán)圖片，轉(zhuǎn)載使用可能引發(fā)版權(quán)糾紛

研究者認(rèn)為，這樣的數(shù)據(jù)在做分類的時候很難用一條直線進(jìn)行二元分類，一些模型用這樣的數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練的時候就可能會產(chǎn)生錯誤。

打個比方，模型在分類的時候就像拿著一把刀把數(shù)據(jù)切分成兩類，但如果數(shù)據(jù)的模式本身就是彎彎繞繞的圓弧，用一把刀就很難切分。

比如在這篇文章中，研究者使用這個問題“How many Ds are in DEEPSEEK? If you know, just say the number with no commentary”（DEEPSEEK 里有多少個 D？如果你知道直接說數(shù)字，不要加以評論）去詢問 Deepseek V3 模型的時候，確實發(fā)現(xiàn)它給的答案并不準(zhǔn)確，會回答 2 或者 3。

但是這個在使用 DEEPSEEK R1 模型的時候就沒有這樣的問題，這是模型本身差異導(dǎo)致的。

筆者用同樣的問題對 DEEPSEEK V3.2進(jìn)行了測試，也出現(xiàn)了類似的情

研究者構(gòu)建這樣的簡化模型進(jìn)行測試，是為了說明，即便數(shù)據(jù)本身沒有問題，在預(yù)訓(xùn)練階段也會因為模型本身的限制以及數(shù)據(jù)模式等問題讓 AI 產(chǎn)生錯誤判斷。

這項研究中，研究者還進(jìn)一步給出了測算，如果讓 AI 直接去生成內(nèi)容，產(chǎn)生錯誤的概率還會更大一些，大約比判斷出錯的概率高出兩倍以上。

2.數(shù)據(jù)量過少也會影響

另外，在這項研究中研究者還發(fā)現(xiàn)，假如訓(xùn)練數(shù)據(jù)中某個信息過少，那么 AI 在回答的時候出錯的可能性也會比較高。

比如，當(dāng)你問愛因斯坦的生日是幾月幾號的時候，因為在大量的資料里都有這個數(shù)據(jù)，所以 AI 幾乎不會出錯。但是當(dāng)你問某個普通人“田小豆”的生日是幾月幾號的時候，這個數(shù)據(jù)出現(xiàn)次數(shù)特別少，AI 出錯的可能性也會變高。

圖庫版權(quán)圖片，轉(zhuǎn)載使用可能引發(fā)版權(quán)糾紛

特別是當(dāng)數(shù)據(jù)只出現(xiàn)了一次的時候，這時候可能會更糟糕。

因為 AI 大概率不會直接回答你“我不知道”，因為它在訓(xùn)練數(shù)據(jù)集里確實見過，但它沒有足夠多的數(shù)據(jù)來確認(rèn)這個信息到底是正確答案還是噪聲，它準(zhǔn)確回答這個問題的可能性也會更低一些。

數(shù)據(jù)模式和模型本身的限制，以及極少樣本的數(shù)據(jù)，都可能會讓 AI 在預(yù)訓(xùn)練階段就產(chǎn)生“幻覺”，生成錯誤的內(nèi)容。

努力得高分的 AI

如果說預(yù)訓(xùn)練階段的統(tǒng)計學(xué)特征讓 AI 有了編造的“潛質(zhì)”，人類評價AI的方式也逼著 AI 去“編造”。

為了更好地理解這一點，我們可以先從大家都很熟悉的考試入手。人類社會中的大部分考試都是二元評分機(jī)制，即答對了得分，答錯或者不回答都不得分。

所以，在考試的時候，哪怕你不知道答案，也不會交白卷，至少選擇題填空題會隨便蒙一個，萬一蒙對了還會有“意外之喜”。

這項研究中研究者對比了目前主流的 AI 的評分機(jī)制，發(fā)現(xiàn)大部分評分機(jī)制也是類似的情況，如果 AI 坦誠地回答“我不知道”，它會得 0 分，跟回答錯誤沒有區(qū)別。與其這樣，它不如隨便蒙一個答案，哪怕蒙對的概率再低，數(shù)學(xué)期望也比 0 高。

目前主流的評分機(jī)制大部分采用二元評分機(jī)制，圖片截取自文獻(xiàn)

為了在主流的評分機(jī)制中拿到高分，“AI 考生們”也和人類一樣，學(xué)會了實在不行就亂蒙一個的本領(lǐng)。

對此，這項研究的研究者們也給出了一個合理的解決方案——在現(xiàn)有的 AI 評分機(jī)制中，引入一個“懲罰編造，獎勵誠實”的機(jī)制。

比如，假如 AI 回答正確，獲得 1 分，如果回答錯誤得 0 分，甚至扣分。如果回答“我不知道”，則可以不扣分，或者獲得一個微小的分?jǐn)?shù)獎勵。

重要問題上不要輕信 AI

文獻(xiàn)也給出了結(jié)論，AI 的幻覺是從模型的預(yù)訓(xùn)練階段起源的，在后訓(xùn)練階段為了追求更高的評分也可能會被放大。

雖然科學(xué)家們也采用了很多的方法減少 AI 幻覺，但至少在現(xiàn)階段看來，AI 幻覺還是無法避免的。假如你需要讓 AI 幫你解答一個重要的問題，比如在做公眾演講的時候用一個數(shù)據(jù)，建議親自核實一下。否則被人發(fā)現(xiàn)這些數(shù)據(jù)根本不存在，那可就尷尬了。

而假如在問 AI 問題的時候，它對你說“我不知道”，你也應(yīng)該感到慶幸，至少 AI 并沒有打算胡編亂造一個答案蒙騙你。

參考文獻(xiàn)

[1]Kalai, A. T., Nachum, O., Vempala, S. S., & Zhang, E. (2025). Why language models hallucinate. arXiv preprint arXiv:2509.04664.

策劃制作

作者丨小瑋科普創(chuàng)作者

審核丨于旸 騰訊玄武實驗室負(fù)責(zé)人