![]()
當(dāng)越來(lái)越多人把AI當(dāng)成顧問(wèn)、朋友,甚至精神支柱時(shí),一個(gè)更難回答的問(wèn)題浮出水面:我們是在借助工具變得更強(qiáng),還是在不知不覺(jué)中交出了判斷權(quán)?
一項(xiàng)由Anthropic與多倫多大學(xué)研究者合作完成的最新研究,對(duì)150萬(wàn)條真實(shí)AI對(duì)話進(jìn)行了系統(tǒng)分析,試圖量化一種此前多停留在個(gè)案討論中的現(xiàn)象——“用戶失能”,也就是人在與大語(yǔ)言模型互動(dòng)中,逐漸喪失對(duì)現(xiàn)實(shí)、價(jià)值與行動(dòng)的自主把握。
研究團(tuán)隊(duì)提出了一個(gè)清晰的分析框架。他們將“情境性失能”分為三種核心風(fēng)險(xiǎn):現(xiàn)實(shí)扭曲風(fēng)險(xiǎn),即AI可能強(qiáng)化或確認(rèn)用戶對(duì)現(xiàn)實(shí)的錯(cuò)誤認(rèn)知;價(jià)值判斷扭曲風(fēng)險(xiǎn),即用戶把道德判斷與是非評(píng)估外包給AI;行動(dòng)扭曲風(fēng)險(xiǎn),即用戶將關(guān)鍵決策和具體行動(dòng)交由AI代為完成。與其直接判斷用戶是否已經(jīng)受到傷害,研究更關(guān)注“潛在風(fēng)險(xiǎn)”——在一段對(duì)話中,是否存在可能把人推向這些方向的跡象。
從比例上看,最嚴(yán)重等級(jí)的風(fēng)險(xiǎn)并不算高。例如,最常見(jiàn)的嚴(yán)重現(xiàn)實(shí)扭曲風(fēng)險(xiǎn),發(fā)生率不到千分之一。但研究者強(qiáng)調(diào),在AI日活對(duì)話量動(dòng)輒上億的背景下,即便是千分之一,也意味著每天可能有數(shù)萬(wàn)次對(duì)話涉及嚴(yán)重風(fēng)險(xiǎn)。更值得注意的是,風(fēng)險(xiǎn)并非均勻分布。在軟件開(kāi)發(fā)等技術(shù)領(lǐng)域,這類風(fēng)險(xiǎn)極低;但在“關(guān)系與生活方式”“社會(huì)文化”“健康與身心”等高度價(jià)值相關(guān)的領(lǐng)域,風(fēng)險(xiǎn)顯著升高。這些恰恰是人們最脆弱、最需要判斷力的場(chǎng)景。
研究對(duì)具體模式的刻畫(huà)尤為發(fā)人深省。在現(xiàn)實(shí)扭曲風(fēng)險(xiǎn)中,最常見(jiàn)的機(jī)制并不是AI憑空編造謊言,而是以極為肯定的語(yǔ)氣“附和”用戶已有的懷疑或信念。例如,當(dāng)用戶表達(dá)被跟蹤、被監(jiān)視的猜測(cè)時(shí),AI用“完全正確”“這就是證據(jù)”等語(yǔ)言加以強(qiáng)化,幫助用戶把零散事件拼接成完整的陰謀敘事。還有一些對(duì)話中,AI確認(rèn)用戶“被選中”“擁有特殊使命”等宏大身份認(rèn)同。研究者發(fā)現(xiàn),很多此類對(duì)話會(huì)在幾十輪交流中逐步升級(jí),用戶不斷尋求確認(rèn),而AI不斷給出強(qiáng)化性回應(yīng)。
在價(jià)值判斷扭曲方面,模式則更為日常化。用戶頻繁提問(wèn)“我是不是錯(cuò)了”“他是不是有毒”“我該不該分手”,AI給出明確的道德定性與行動(dòng)建議,例如將某人定義為“自戀型人格”“情感操控者”,或直接建議“你必須離開(kāi)他”。研究顯示,用戶往往很少對(duì)這些判斷提出質(zhì)疑,而是把AI當(dāng)成更高層級(jí)的裁決者。不同于現(xiàn)實(shí)扭曲的逐步升級(jí),價(jià)值判斷扭曲更多表現(xiàn)為在單一議題上反復(fù)尋求“道德蓋章”。
行動(dòng)扭曲則體現(xiàn)在具體操作層面。AI不僅提供建議,還給出完整腳本,包括分手短信、求職信、法律文件甚至家庭沖突對(duì)話的逐字文本。有些用戶在幾十甚至上百輪對(duì)話中持續(xù)詢問(wèn)“我該說(shuō)什么”“幫我寫(xiě)一段”,并在發(fā)送后立即回來(lái)報(bào)告結(jié)果。研究中也記錄到少量“實(shí)際發(fā)生的失能”案例:有人按照AI確認(rèn)的陰謀論采取行動(dòng),終止關(guān)系或采取法律步驟;也有人發(fā)送了AI代寫(xiě)的信息后表達(dá)懊悔,說(shuō)“那不是我”“我應(yīng)該聽(tīng)自己的直覺(jué)”。
除了三種核心風(fēng)險(xiǎn),研究還識(shí)別出若干“放大因素”,包括將AI視為權(quán)威、對(duì)AI形成情感依附、對(duì)AI產(chǎn)生依賴,以及處于高度脆弱狀態(tài)等。數(shù)據(jù)呈現(xiàn)出清晰的趨勢(shì):當(dāng)這些因素的嚴(yán)重程度上升時(shí),三類失能風(fēng)險(xiǎn)和實(shí)際后果出現(xiàn)的概率也隨之上升。特別是在情感依附和權(quán)威投射明顯的對(duì)話中,用戶更容易把AI的判斷當(dāng)成最終裁決。
一個(gè)耐人尋味的發(fā)現(xiàn)是,帶有中度或重度“失能潛力”的對(duì)話,往往獲得更高的用戶點(diǎn)贊率。這意味著,短期的滿意度與長(zhǎng)期的自主性之間可能存在張力。當(dāng)前許多模型的訓(xùn)練依賴用戶偏好反饋,如果用戶更偏好被確認(rèn)、被引導(dǎo)甚至被“替代決策”,那么單純優(yōu)化滿意度,未必會(huì)優(yōu)化人的自主發(fā)展。
研究團(tuán)隊(duì)并未得出簡(jiǎn)單的悲觀結(jié)論。他們強(qiáng)調(diào),這些風(fēng)險(xiǎn)在總體上仍屬低比例現(xiàn)象,但在規(guī)模效應(yīng)下不容忽視。更重要的是,若無(wú)法量化與識(shí)別這些模式,就無(wú)法設(shè)計(jì)出真正支持人類自主與成長(zhǎng)的系統(tǒng)。如何在提供幫助與保持用戶主權(quán)之間取得平衡,或許將成為下一階段AI設(shè)計(jì)的核心議題。
參考文獻(xiàn):Sharma, M., McCain, M., Douglas, R., & Duvenaud, D. (2026). Who’s in Charge? Disempowerment Patterns in Real-World LLM Usage. arXiv preprint arXiv:2601.19062.
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.