人類又一次，把AI的話當真了。

這兩年，“被AI坑”已經不新鮮了。有人用 ChatGPT 寫法律文件，結果判例是假的，比如“Varghese訴中國南方航空” 。有人用DeepSeek做健康咨詢、結果得到了“80%是肺癌”的結論，嚇得不輕。

但這次，情況似乎更嚴重了。

有人在小區發現一種蘑菇，拍了照片，問豆包：這能不能吃？豆包說，這個東西“可能是雞腿菇”。可以吃。可豆包也補充，“它容易和大青褶傘混淆，誤食會引發胃腸炎癥狀”。所以，如果是從外邊采來的，不要吃。

你看，豆包不是沒有提醒。它沒有斬釘截鐵地說：放心吃。它說了“可能”，也說了“外邊采來的建議不要吃”。

可用戶還是吃了。然后，上吐下瀉。

于是，很快有人評論：

這能怪誰？人家明明提醒你了。野蘑菇不能亂吃，這不是常識嗎？你自己不知道邊界，把AI當專家，中毒不是活該嗎？

（圖片來自微博）

說用戶本人沒有責任，當然不對。野蘑菇不能亂吃，AI回答不能當食品安全依據，豆包也確實加了提醒。

可用戶有責任，不等于AI大模型沒有責任。當答案可能影響人的安危時，如果AI并不確定，還應不應該回答？

這個問題，在機器學習領域，其實早就被討論過了。

有個說法，叫：拒絕選項（Reject Option）。

1970年前后，C. K. Chow就在論文中提出了“拒絕選項”，意思是分類器遇到把握不足的樣本時，應當拒絕判斷，將處理權交給人或其他系統。

為什么？因為有些問題，答錯的代價太大了。

比如問AI，穿啥顏色的衣服？它答錯了，最多就是你心情差點。可你問AI，這個蘑菇能不能吃？它答錯了，你就可能中毒，可能去醫院搶救。

這時候，不回答就是更安全的輸出。

2017年，計算機科學家Geifman提出：機器學習里一種最基礎的“自知之明”，就是知道自己不知道。比如自動駕駛。如果路況實在復雜，理想狀態不是硬開，而是把控制權交給人。

可是，既然不確定時拒答更安全，為什么大模型還總想回答？

這就和它的商業目標，有關了。

今天，能穩定盈利的大模型公司并不多。可是怎么變現？怎么收費？還沒有一個公認的答案。所以才有這么一個共識：我們先把用戶規模養起來。

怎么養？先讓自己，變得“有用”。

有用最直接的表現，就是你問什么，它都能接住。不僅接住，還要接得順、接得讓你愿意繼續問。

你讓它寫段文案，它寫。你讓它做一個表格，它做。你問它一個概念，它解釋。你問它怎么創業、怎么投資、怎么追女生、怎么教育孩子，它都能說上幾句。耐心，熱情，次次有回應。

所以，出于商業目的，AI大模型，會天然走向：盡量回答，努力討好。

因為，如果你問蘑菇，它不能答。你問投資，它不能答。你問創業，你也一堆風險提示，那你很容易就換個愿意回答的AI。

可問題是，它越想回答，越容易產生幻覺。

幻覺，就是一本正經地胡說八道。你問它論文出處，它可能會給你作者名、年份、期刊，但你真去查，會發現根本不存在。

大模型的輸出機制，是通過概率，猜下一個詞。它會根據自己學過的內容、檢索到的信息，判斷接下來最應該出現什么詞。這是統計意義的智能，而非人類意義的理解。這種機制，必然帶來幻覺。

這件事，放在普通問題里，沒什么。但在高風險問題上，就很要命。你問100次作者錯10次，沒關系。你問一次毒蘑菇，它錯一次就出大事。

那，大模型公司知不知道這事？當然知道。但他們又很難冒著失去用戶的風險，拒絕回答。所以只好：做免責聲明。

最常見的辦法，就是在回答后面加提醒：

大模型可能會犯錯，請你自行判斷。以上內容僅供參考，不構成專業建議。涉及醫療、法律、投資、食品安全等問題，請咨詢專業人士。

盡量回答，努力討好，常常幻覺，總是免責。

這就是今天多數大模型的表現。因為它想讓你覺得它什么都能答，但又無法保證都對，所以只能再加一句：我不一定對，請自己判斷。

可是，提醒存在，不等于有效。免責聲明寫了，不等于用戶理解了。

為什么？首先，“免責聲明”的邊際效用，會越來越弱。

你第一次看到“大模型可能會犯錯，請自行判斷”，可能會想一想。可到了第一百次，一千次，你可能就略過了。就像安裝軟件時的“用戶協議”，進網頁時看到“風險聲明”。它們都在，但你已經不讀了。

一開始，風險提示是提醒用戶的。后來，它越來越像保護平臺的。

其次，機器給出的答案，人天然更容易相信。

當你聽到導航說往左，你就往左。哪怕你隱約覺得不對。系統說這個客戶風險低，你就放松警惕。系統都算過了，應該沒事吧。AI說“這可能是雞腿菇”，你也可能會想：它都看過那么多資料了，應該比我懂吧。

在心理學和人機交互里，這種傾向，叫做：自動化偏誤。

意思是，人在與自動化系統（如AI、程序）協作時，很容易就過度依賴其輸出，從而放棄獨立思考，驗證信息。

所以，用戶看完一段AI回答，最容易記住的，往往不是最后那句“請自己判斷”，而是前面的具體回答。

回到這次“蘑菇中毒事件”。

豆包做了很多事。它加了警告、點了具體毒蘑菇的名字、提示了胃腸炎癥狀。但如果在這些免責聲明之前，它首先給出了“這可能是雞腿菇”的判斷，那無論免責聲明寫得多么嚴厲，都可能讓用戶放松警惕。

那怎么辦？瞎說一個不負責任的建議：

再遇到類似的問題，或許可以把回答順序倒一下。

先說“這個問題涉及食品安全，AI回答可能犯錯，請勿據此食用”。再說“從圖像特征看，它有一定可能是雞腿菇，但也無法排除劇毒的大青褶傘”。

先給出的信息，更容易成為用戶腦子里的錨。所以，先說“像雞腿菇”還是先說“我說的可能不對”，可能截然不同。

我們正在進入一個，AI深度參與人類判斷的時代。

過去很多技術革命，改變的是工具。車跑得更快了，機器算得更準了。但它們只是把能力交給你，最后怎么判斷，還是你來。

但AI，不只是給你信息，它還會直接給你結論。該不該買股票？它給你分析。蘑菇能不能吃？它也會給你一個判斷。

而一旦進入判斷鏈條，它就不能只追求有問必答。

或許，高風險場景里，一個成熟AI最重要的能力，不是回答得越來越像專家。而是在沒有把握的時候，敢于先說：

對不起，這個我不知道。

參考資料：

2、陳煥|GPT兩周年-盤點那些使用AI生成內容被“公開處刑”的法律人

觀點/ 劉潤主筆/ 景九編輯/ 歌平版面/ 黃靜

這是劉潤公眾號第2968篇原創文章。未經授權，禁止任何機構或個人抓取本文內容，用于訓練AI大模型等用途