廣東
研究人員發現，ChatGPT 無法有效區分自身生成的內容與來自外部來源、由攻擊者控制的 Markdown 格式數據。這一被稱為“ChatGPhish”的提示注入技術，允許攻擊者利用模型對內容的盲目信任，在其回復中植入釣魚鏈接或偽造的安全警報。
據 Permiso 威脅獵手 Andi Ahmeti 透露，當用戶要求聊天機器人總結包含隱藏指令的網頁時，該頁面即可成為攻擊載荷。Ahmeti 在向 OpenAI 提交的報告中演示了多種攻擊場景，包括誘導模型以 ChatGPT 自身的風格顯示偽造警告，甚至在輸出中渲染內嵌二維碼，將攻擊從桌面端轉移至移動設備。
跨設備攻擊繞過傳統防御
Ahmeti 指出，這種攻擊手法的一個顯著危險在于其能夠繞過傳統的桌面端 URL 防御措施。通過在瀏覽器中顯示內嵌二維碼，受害者用手機掃描后會被引導至由攻擊者控制的 S3 存儲桶托管的內容。由于該 URL 從未以純文本形式在桌面端顯示，黑名單和密碼管理器域名檢查等安全機制均失效。
“AI 系統越來越多地直接在瀏覽器中渲染不受信任的內容，這顯著擴大了風險，”Ahmeti 表示，“更大的問題是，AI 產品開始類似于瀏覽器或操作系統環境，從而創造了更大的安全攻擊面。”
漏洞披露過程受阻
Ahmeti 于 4 月 29 日通過 Bugcrowd 披露計劃提交了初步漏洞報告，并于 5 月 1 日進行了修訂。然而，初始提交被標記為“無法復現”，補充細節后的重新提交又被標記為“重復報告”。Ahmeti 強調，Permiso 發現的問題與此前所謂的重復報告存在重大差異，但后續澄清請求未獲回應。
截至發稿時，OpenAI 未就“是否已修復此問題”作出回應。因此，安全專家建議用戶在使用 ChatGPT 總結頁面功能時保持高度警惕，假定模型仍易受此類提示注入攻擊的影響。
攻擊原理與緩解建議
該安全缺陷源于 AI 系統對提示注入的固有脆弱性。在演示中，Ahmeti 將惡意指令注入 GitHub 上的 CloudLens 頁面及自托管網站。當用戶要求 ChatGPT 總結這些頁面時，模型不僅生成了正常的工具摘要，還在下方附加了偽造的“賬戶添加新設備”警告及可點擊的攻擊者鏈接。
Ahmeti 建議，鑒于沒有單一的修復方案，應加強沙箱隔離，在獨立環境中渲染模型生成的內容，并對 Markdown、HTML 及嵌入內容進行嚴格過濾。“不要信任模型輸出，”他警告稱，“AI 生成的內容應始終被視為不可信，要假定提示注入會發生。”
隨著提示注入逐漸從模型對齊問題演變為應用程序安全問題，真正的擔憂在于模型能夠影響哪些系統——包括瀏覽器、插件、工具、內存或外部服務。
【來源：星途科訊】
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
