江蘇
關(guān)鍵詞
AI，投毒
你有沒有想過，你在網(wǎng)上隨手寫的一句評(píng)論，可能正在"訓(xùn)練"AI搜索給出錯(cuò)誤答案？
6月22日，一篇新發(fā)表的學(xué)術(shù)論文揭露了一個(gè)令人不安的發(fā)現(xiàn)：只需在Reddit上寫一條13個(gè)單詞的評(píng)論，就能污染ChatGPT和Google Gemini等AI深度搜索系統(tǒng)的返回結(jié)果。
研究人員發(fā)現(xiàn)，攻擊者可以在Reddit等開放平臺(tái)上發(fā)布精心構(gòu)造的短評(píng)論，當(dāng)AI搜索引擎抓取網(wǎng)頁內(nèi)容時(shí)，這些評(píng)論會(huì)被納入信息源。由于AI系統(tǒng)在整合多源信息時(shí)缺乏對(duì)"誰說的"和"說了什么"的深度驗(yàn)證，這些虛假信息就會(huì)被當(dāng)成可信內(nèi)容傳遞給用戶。
更可怕的是——這種攻擊成本幾乎為零，不需要入侵任何系統(tǒng)，不需要寫一行惡意代碼，只需要一個(gè)Reddit賬號(hào)和13個(gè)英文單詞。
這意味著什么？
過去我們擔(dān)心AI會(huì)"產(chǎn)生幻覺"，現(xiàn)在更該擔(dān)心的是：有人在故意讓AI產(chǎn)生幻覺。AI搜索正在成為新的輿論戰(zhàn)場(chǎng)，而我們可能毫無察覺。
建議：
對(duì)AI搜索結(jié)果保持交叉驗(yàn)證習(xí)慣，尤其是涉及事實(shí)、數(shù)據(jù)、醫(yī)療和金融信息時(shí)
關(guān)注AI搜索系統(tǒng)的來源標(biāo)注功能，優(yōu)先查看有明確出處的內(nèi)容
如果你是企業(yè)或媒體，開始關(guān)注"AI搜索投毒"對(duì)品牌聲譽(yù)的潛在影響
安全圈
網(wǎng)羅圈內(nèi)熱點(diǎn) 專注網(wǎng)絡(luò)安全
實(shí)時(shí)資訊一手掌握！
好看你就分享 有用就點(diǎn)個(gè)贊
支持「安全圈」就點(diǎn)個(gè)三連吧！
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
小祁談歷史
