「我們以為AI能當(dāng)醫(yī)生，結(jié)果它連參考文獻(xiàn)都是編的?！埂@不是段子，是《醫(yī)學(xué)互聯(lián)網(wǎng)研究雜志》剛發(fā)布的實(shí)測(cè)結(jié)論。

研究人員把ChatGPT、Gemini、Grok、Meta AI、DeepSeek扔進(jìn)考場(chǎng)，250道醫(yī)學(xué)題覆蓋癌癥、疫苗、干細(xì)胞、營(yíng)養(yǎng)、運(yùn)動(dòng)表現(xiàn)。結(jié)果？一半的答案都有問題。更諷刺的是，這些機(jī)器人回答時(shí)語氣篤定、格式專業(yè)，跟真專家似的。

開放式提問是重災(zāi)區(qū)

實(shí)驗(yàn)設(shè)計(jì)很刁鉆：一半題目是封閉式（有標(biāo)準(zhǔn)答案），一半是開放式（"這療法有用嗎""疫苗安全嗎"）。

后者模擬真實(shí)場(chǎng)景——普通人不會(huì)用多選題問診，而是拋出一堆模糊描述。正是這類提問，讓AI的翻車率飆升。

問題出在哪？機(jī)器人會(huì)把可靠證據(jù)和垃圾信息攪在一起，輸出看似合理的混合體。用戶很難分辨哪句對(duì)、哪句錯(cuò)。

更坑的是，它們幾乎從不加限定詞。"可能""建議咨詢醫(yī)生"這類緩沖詞極少出現(xiàn)，取而代之的是斬釘截鐵的斷言。

參考文獻(xiàn)是擺設(shè)，40%完整度

很多人信任AI，是因?yàn)樗?有出處"。這次測(cè)試把這點(diǎn)底褲扒了。

五款機(jī)器人的參考文獻(xiàn)完整度平均只有40%，沒有一家能給出完全準(zhǔn)確的引用列表。部分答案附的文獻(xiàn)干脆是編的——標(biāo)題、作者、期刊全造假。

這形成危險(xiǎn)閉環(huán)：答案看起來專業(yè)→附帶文獻(xiàn)增強(qiáng)可信度→用戶查證時(shí)發(fā)現(xiàn)文獻(xiàn)不存在或文不對(duì)題。但多數(shù)人不會(huì)查證。

研究人員特別點(diǎn)名，Gemini等產(chǎn)品的引用格式極其逼真，足以騙過 casual 掃一眼的用戶。

為什么閉源模型也沒贏

一個(gè)反直覺的發(fā)現(xiàn)：OpenAI的GPT-4和谷歌的Gemini并沒比開源/半開源選手穩(wěn)多少。

按理說，資金雄厚的大廠應(yīng)該更安全。但測(cè)試顯示，所有模型在開放式醫(yī)學(xué)問題上都出現(xiàn)"幻覺"（即一本正經(jīng)胡說八道）。區(qū)別在于，大廠產(chǎn)品的包裝更精致，反而更難識(shí)別。

DeepSeek作為后來者，表現(xiàn)并未明顯掉隊(duì)，也沒明顯領(lǐng)先。這說明醫(yī)學(xué)安全不是砸錢就能解決的工程問題。

實(shí)驗(yàn)局限性：被故意刁難了嗎

作者自己承認(rèn)，250個(gè)prompt是"壓力測(cè)試"——特意選了容易出錯(cuò)的領(lǐng)域和問法。日常使用中，用戶可能問得更簡(jiǎn)單，錯(cuò)誤率或許更低。

但另一個(gè)角度：癌癥、疫苗正是普通人最可能搜、也最輸不起的話題。如果AI在這些領(lǐng)域都穩(wěn)不住，"日常簡(jiǎn)單問題"的安全感又有多少意義？

此外，模型迭代極快。今天的GPT-4和三個(gè)月后的版本可能是兩個(gè)東西。研究的時(shí)效性天然受限。

產(chǎn)品經(jīng)理該抄什么作業(yè)

這項(xiàng)研究給AI應(yīng)用層敲了三記警鐘：

第一，置信度顯示不是擺設(shè)。很多產(chǎn)品為了體驗(yàn)流暢，隱藏了模型的不確定性。醫(yī)學(xué)場(chǎng)景下，寧可讓用戶覺得"這AI不太確定"，也別給虛假安全感。

第二，引用必須可驗(yàn)證。不是"列出參考文獻(xiàn)"就完事，要鏈接直達(dá)、要交叉核對(duì)。40%完整度的引用還不如沒有——沒有至少讓人警惕，假的引用讓人放松警惕。

第三，開放式對(duì)話需要主動(dòng)收斂。用戶問得越泛，系統(tǒng)越該引導(dǎo)到具體、可驗(yàn)證的子問題，而不是接招硬答。

一個(gè)冷觀察

研究發(fā)布時(shí)，恰好是各大廠瘋狂推廣AI搜索、AI助手的節(jié)點(diǎn)。谷歌把Gemini塞進(jìn)搜索首頁，OpenAI力推ChatGPT的實(shí)時(shí)搜索，Perplexity估值暴漲。

醫(yī)學(xué)是搜索廣告的金礦。但這項(xiàng)研究表明，金礦里可能混著相當(dāng)比例的有毒礦石。監(jiān)管還沒跟上，用戶已經(jīng)用上了。

最黑色幽默的是結(jié)尾：研究人員建議，AI目前只適合"總結(jié)信息"或"幫你想下一步問什么"——翻譯成人話，就是個(gè)高級(jí)版"您是不是想找"。

我們花了上百億美元，造出了一個(gè)會(huì)胡編的自動(dòng)補(bǔ)全。