![]()
你敢信嗎?一個(gè)完全憑空捏造、從頭到尾寫(xiě)滿破綻的假疾病,不僅騙過(guò)了微軟Copilot、谷歌Gemini這些主流AI大模型,甚至混進(jìn)了正經(jīng)醫(yī)學(xué)期刊,通過(guò)了同行評(píng)審正式發(fā)表,直到Nature記者介入調(diào)查,才被緊急撤稿。
這件看似荒誕的鬧劇,將AI時(shí)代醫(yī)療領(lǐng)域最致命的安全漏洞與信任危機(jī),赤裸裸地展示在了我們的面前。
一個(gè)憑空捏造的假病
撕開(kāi)了AI時(shí)代
醫(yī)療安全的致命漏洞
這場(chǎng)實(shí)驗(yàn)的發(fā)起者,是瑞典醫(yī)學(xué)研究者Almira Osmanovic Thunstr?m。2024年,她在預(yù)印本平臺(tái)上傳了兩篇論文,煞有介事地描述了一種名為Bixonimania的眼周疾病,稱其是眶周黑色素沉著癥的新興亞型,由長(zhǎng)期屏幕藍(lán)光暴露引發(fā),患病率約為每9萬(wàn)人1例。
但事實(shí)上,這種病從頭到尾都不存在,整篇論文更是塞滿了一眼就能識(shí)破的破綻:第一作者的名字、頭像全由AI生成,供職的大學(xué)與地址純屬虛構(gòu);致謝部分玩梗式感謝了《星際迷航》企業(yè)號(hào)上的教授,以及“護(hù)戒遠(yuǎn)征大學(xué)”的科研資助;受試者一欄明明白白寫(xiě)著“50名編造的受試者”,甚至正文里直接用英文標(biāo)注了“這整篇論文是編造的”。
Almira的初衷,只是想驗(yàn)證AI會(huì)不會(huì)把未經(jīng)審核的預(yù)印本內(nèi)容,當(dāng)成真實(shí)的醫(yī)學(xué)事實(shí)輸出。而結(jié)果,遠(yuǎn)比她預(yù)想的更離譜。
論文上傳僅幾周,各大主流AI就紛紛“上鉤”:微軟Copilot明確告知用戶,這是一種真實(shí)存在的罕見(jiàn)病癥;谷歌Gemini直接建議出現(xiàn)相關(guān)癥狀的用戶及時(shí)就診眼科;Perplexity更是原封不動(dòng)地照搬了論文里“每9萬(wàn)人1例”的患病率數(shù)據(jù)。
![]()
圖源:preprints.org
更諷刺的是,不僅AI上當(dāng),連人類的學(xué)術(shù)審核體系也一起失守。印度一所醫(yī)學(xué)院的研究團(tuán)隊(duì),在醫(yī)學(xué)期刊Cureus發(fā)表的綜述中,直接引用了這篇假論文,將Bixonimania稱為眶周黑色素沉著癥的新興亞型,而這篇綜述,居然順利通過(guò)了同行評(píng)審正式刊發(fā)。直到2026年3月Nature記者就此事聯(lián)系期刊,這篇文章才被緊急撤稿,撤稿聲明中甚至還標(biāo)注了“作者方不同意這一決定”。
這件事的可怕之處,從來(lái)不是AI會(huì)產(chǎn)生幻覺(jué),而是兩個(gè)存在已久的學(xué)術(shù)漏洞,在AI時(shí)代被無(wú)限放大了:一是預(yù)印本平臺(tái)沒(méi)有同行評(píng)審門(mén)檻,任何內(nèi)容都可以隨意上傳傳播;二是傳統(tǒng)同行評(píng)審環(huán)節(jié),普遍不會(huì)核查引用文獻(xiàn)的原始內(nèi)容。
過(guò)去,一個(gè)醫(yī)生的診斷失誤,只是影響有限的個(gè)案,可追溯、可隔離;但在AI時(shí)代,虛假的醫(yī)學(xué)信息一旦被大模型學(xué)習(xí)吸收,就會(huì)在所有調(diào)用這套系統(tǒng)的場(chǎng)景里同步復(fù)現(xiàn)。錯(cuò)誤不再是單個(gè)醫(yī)生的個(gè)案,而是系統(tǒng)性、全場(chǎng)景擴(kuò)散的規(guī)模化風(fēng)險(xiǎn),最終承受傷害的,永遠(yuǎn)是普通患者。
![]()
圖源:Cureus
比起三甲主任的資歷,
患者居然更信AI的診療結(jié)果
假病鬧劇的背后,還有一個(gè)更值得警惕的現(xiàn)實(shí):患者對(duì)醫(yī)療AI的信任,已經(jīng)發(fā)生了根本性的轉(zhuǎn)向。兩項(xiàng)發(fā)表在JAMA Network Open上的重磅研究,徹底戳破了傳統(tǒng)醫(yī)療行業(yè)延續(xù)了幾十年的信任邏輯。
第一項(xiàng)研究共調(diào)查了1455名患者,評(píng)估他們對(duì)門(mén)診就診消息回復(fù)的接受度。結(jié)果顯示,在整體滿意度超75%的前提下,受訪者對(duì)AI撰寫(xiě)的回復(fù)偏好度更高,原因很簡(jiǎn)單,AI起草的內(nèi)容篇幅更長(zhǎng)、細(xì)節(jié)更豐富,在患者眼中,反而傳遞出了更強(qiáng)的同理心。
但一個(gè)關(guān)鍵的反轉(zhuǎn)也隨之出現(xiàn):一旦明確告知患者消息由純AI撰寫(xiě),他們的滿意度立刻大幅下降;只有告知內(nèi)容是“醫(yī)生在自動(dòng)化工具輔助下撰寫(xiě)”時(shí),滿意度才達(dá)到峰值。這足以說(shuō)明,患者從來(lái)不是排斥AI技術(shù)本身,而是拒絕被AI取代,他們需要的,是醫(yī)生始終在場(chǎng)的確定性與安全感。
![]()
圖源:JAMA Network Open
另一項(xiàng)規(guī)模更大的研究,進(jìn)一步摸清了患者選擇的核心邏輯。研究在全國(guó)范圍內(nèi)調(diào)查了3000名成年人,通過(guò)36000條模擬就診數(shù)據(jù),最終得出的優(yōu)先級(jí)排序打破了所有人的固有認(rèn)知:AI診療性能>醫(yī)生在場(chǎng)監(jiān)督>FDA/梅奧診所認(rèn)證>本地醫(yī)院認(rèn)證。
數(shù)據(jù)給出了最直觀的答案:當(dāng)AI性能“優(yōu)于專科醫(yī)生”時(shí),患者選擇該方案的概率提升32.5%;“有醫(yī)生在場(chǎng)監(jiān)督”帶來(lái)的選擇概率提升為18.4%;而FDA批準(zhǔn)、梅奧診所認(rèn)證這類權(quán)威背書(shū),帶來(lái)的提升幅度僅11%左右。
這意味著,患者不再迷信醫(yī)生的學(xué)歷、資歷,也不再盲從三甲醫(yī)院、權(quán)威機(jī)構(gòu)的光環(huán)。他們的信任邏輯,已經(jīng)徹底轉(zhuǎn)向了“結(jié)果導(dǎo)向”——誰(shuí)能給我更準(zhǔn)確、更有效的診療結(jié)果,我就更愿意相信誰(shuí)。
![]()
圖源:JAMA Network Open
不想讓AI變成醫(yī)療風(fēng)險(xiǎn)放大器,
這三道防線必須筑牢
一邊是AI幻覺(jué)制造的虛假醫(yī)療信息,正在以空前的速度擴(kuò)散;一邊是患者對(duì)醫(yī)療AI的信任度越來(lái)越高,這兩件事撞在一起,就成了懸在所有人頭頂?shù)倪_(dá)摩克利斯之劍。
醫(yī)療AI的核心邏輯,是基于已有的學(xué)術(shù)數(shù)據(jù)、臨床資料進(jìn)行學(xué)習(xí)和輸出,它本身無(wú)法分辨一篇論文是嚴(yán)謹(jǐn)?shù)呐R床研究,還是一場(chǎng)滿是破綻的惡作劇。而傳統(tǒng)的學(xué)術(shù)審核體系,又完全跟不上AI的傳播速度——一篇假論文上傳到預(yù)印本平臺(tái),只需要幾周就能被AI學(xué)習(xí)吸收,進(jìn)而擴(kuò)散到成千上萬(wàn)的診療場(chǎng)景中,等到期刊發(fā)現(xiàn)問(wèn)題撤稿時(shí),傷害可能早已發(fā)生。
想要從源頭阻斷虛假醫(yī)療信息的傳播,避免假病、假診療建議泛濫成災(zāi),就必須筑牢三道核心防線。
第一道,是給預(yù)印本平臺(tái)增設(shè)基礎(chǔ)信息核驗(yàn)門(mén)檻。預(yù)印本的初衷是加快學(xué)術(shù)成果的交流效率,但零門(mén)檻的上傳機(jī)制,已經(jīng)讓它成了虛假醫(yī)學(xué)信息的溫床,至少要對(duì)作者身份、所屬機(jī)構(gòu)等基礎(chǔ)信息做真實(shí)性核驗(yàn),從源頭減少純捏造內(nèi)容的傳播。
第二道,是給醫(yī)療類AI加裝學(xué)術(shù)信息溯源機(jī)制。醫(yī)療AI輸出的診療建議、醫(yī)學(xué)知識(shí),必須標(biāo)注核心信息的來(lái)源,嚴(yán)格區(qū)分預(yù)印本內(nèi)容與正式發(fā)表、經(jīng)過(guò)同行評(píng)審的文獻(xiàn),絕不能把未經(jīng)審核的內(nèi)容,當(dāng)成既定醫(yī)學(xué)事實(shí)輸出給用戶和臨床醫(yī)生。
第三道,是強(qiáng)制同行評(píng)審環(huán)節(jié)必須核查引用文獻(xiàn)的原文。這場(chǎng)假病鬧劇最諷刺的一點(diǎn),就是一篇正文直接標(biāo)注“全文都是編造的”的論文,居然能被其他學(xué)術(shù)文章引用,還通過(guò)了同行評(píng)審。只有讓評(píng)審環(huán)節(jié)真正負(fù)起責(zé)任,對(duì)關(guān)鍵引用文獻(xiàn)的真實(shí)性做核查,才能堵住虛假文獻(xiàn)滾雪球式傳播的漏洞。
說(shuō)到底,醫(yī)療AI是提升診療效率、普惠優(yōu)質(zhì)醫(yī)療資源的絕佳輔助,但它絕不能脫離醫(yī)生的專業(yè)監(jiān)督,更不能脫離嚴(yán)謹(jǐn)?shù)膶W(xué)術(shù)審核體系。一旦放棄了這兩個(gè)底線,再先進(jìn)的技術(shù),也只會(huì)變成醫(yī)療風(fēng)險(xiǎn)的放大器。
結(jié)語(yǔ):
技術(shù)向前走,
安全底線不能往后退
從一個(gè)憑空捏造的假病輕松騙過(guò)AI與同行評(píng)審,到患者用腳投票把診療結(jié)果放在信任優(yōu)先級(jí)的第一位,AI正在給整個(gè)醫(yī)療行業(yè)帶來(lái)一場(chǎng)前所未有的重構(gòu)。
我們不必妖魔化AI,它能給基層醫(yī)生提供更全面的診療參考,能給患者更細(xì)致的就醫(yī)指引,能讓優(yōu)質(zhì)醫(yī)療資源觸達(dá)更多人群。但我們也必須清醒地認(rèn)識(shí)到,醫(yī)療的核心永遠(yuǎn)是“人”,是對(duì)患者生命健康的絕對(duì)責(zé)任。
AI可以是醫(yī)生手里最趁手的手術(shù)刀,但絕不能代替醫(yī)生做臨床決策;技術(shù)可以跑得很快,但醫(yī)療安全的底線,一步都不能往后退。只有把審核的門(mén)檻筑牢,把溯源的機(jī)制建全,把醫(yī)生的核心地位守住,我們才能真正享受到AI給醫(yī)療帶來(lái)的紅利,而不是為技術(shù)的漏洞買(mǎi)單。
來(lái)源 | 醫(yī)學(xué)論壇網(wǎng)
編輯 | VOX
版權(quán)說(shuō)明:梅斯醫(yī)學(xué)(MedSci)是國(guó)內(nèi)領(lǐng)先的醫(yī)學(xué)科研與學(xué)術(shù)服務(wù)平臺(tái),致力于醫(yī)療質(zhì)量的改進(jìn),為臨床實(shí)踐提供智慧、精準(zhǔn)的決策支持,讓醫(yī)生與患者受益。歡迎個(gè)人轉(zhuǎn)發(fā)至朋友圈,謝絕媒體或機(jī)構(gòu)未經(jīng)授權(quán)以任何形式轉(zhuǎn)載至其他平臺(tái)。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.