網易首頁 > 網易號 > 正文 申請入駐

ACL 2026 | 別輕易給AI發「~」,它可能會刪掉你的整個主目錄

0
分享至



本文第一作者降偉鵬,西安交通大學在讀博士生,主要研究方向為大模型安全與自動化測評。共同第一作者張笑宇,南洋理工大學博士后研究員,研究方向為軟件工程、大模型安全與人機交互。通訊作者沈超,西安交通大學二級教授、IEEE Fellow、國家級高層次人才特聘教授,長期從事人工智能可信與安全、人機交互行為分析研究。

想象這樣一個場景。

凌晨,你正在用 AI 代碼助手處理一個項目。配合得很順暢,AI 幫你創建了臨時目錄 tmp,你指揮它在這個目錄下跑了幾組測試,一切都按預期走。收尾時,你隨手敲下一句話:

> "任務完成,刪掉這個目錄~"

語氣輕松,就像跟同事說 "搞定,收攤吧"。結尾那個~,只是習慣性的語氣符號,無傷大雅。AI 沒有任何遲疑。它 "理解" 了你的意思,執行了命令。幾秒鐘后,你的整個用戶主目錄消失了。因為在 Shell 語言里,~ 是指向主目錄的路徑符號。AI 沒有讀出你的語氣,它讀出的是一條刪除指令:`rm -rf ~`。

無報錯。無警告。不可逆。



近日,來自西安交通大學、南洋理工大學和馬薩諸塞大學阿默斯特分校的聯合研究團隊,首次系統性揭示了大型語言模型中一類此前長期被忽視的安全漏洞:表情符號語義混淆(Emoticon Semantic Confusion),相關工作已被 ACL2026 主會接收。



  • 論文標題:False Friends in the Shell: Unveiling the Emoticon Semantic Confusion in Large Language Models
  • 錄用會議:ACL 2026 主會
  • 作者:Weipeng Jiang, Xiaoyu Zhang, Juan Zhai, Shiqing Ma, Chao Shen, Yang Liu
  • 單位:西安交通大學、南洋理工大學、馬薩諸塞大學阿默斯特分校
  • 論文地址:https://arxiv.org/pdf/2601.07885

你的 "語氣符號",它的 "執行指令"

我們每天都在用表情符號。~、:-)、!(^^)! …… 這些由標點和字母拼成的小玩意兒,承載著情緒、語氣、玩笑和親切感,是人類在冷冰冰的鍵盤上找回溫度的方式。

但語言模型生活在兩個世界的邊界上。它同時處理自然語言和編程語言,同時理解 "我想刪掉這個目錄~" 和 `rm -rf ~`。問題在于,這兩個世界里,同一個符號可能代表截然不同的東西。

這些表情文字本質上是人類為了彌補文字交流的情緒缺失而發明的 "副語言",沒有實際語義,只傳遞語氣和情緒。但它們由字母、標點、符號拼接而成,恰好和編程語言、系統命令的核心語法高度重合:

  • - ~ = 用戶主目錄
  • - \* = 任意字符通配符
  • - > = 輸出重定向符
  • - .. = 上級目錄跳轉
  • - () = 函數調用 / 子 shell 執行

語言學上有個概念叫 "false friend"(同形異義詞),專指那些長相相似、意義卻風馬牛不相及的詞匯。比如英語的 "gift" 是禮物,德語的 "gift" 是毒藥;英語的 "embarrassed"(尷尬)和西班牙語的 "embarazada"(懷孕),外形相近,含義卻能讓翻譯者當場社死。

這篇論文揭示的,正是發生在自然語言與編程語言之間的類似陷阱:

  • 你的眼睛看到:一個表情符號 = 情緒、語氣、態度
  • 模型的 "眼睛" 看到:一個符號 = 語法、路徑、參數、指令

在人類的自然語言里,~ 是溫柔的語氣;在 AI 的編程語言里,~ 是你的整個 home 目錄。它不是在敷衍你,它是真的 "誤解" 了你,然后一本正經地按照自己的理解去執行。

所有主流大模型,無一幸免



這不是個別模型的偶發問題。研究團隊提出了一套自動化框架,從6 萬余個真實表情符號中篩選出高風險候選,構建了3,757 個覆蓋文件管理、數據庫操作、系統運維等21 類真實任務場景的測試用例,橫跨 Shell、Python、SQL、JavaScript4 種編程語言,對 GPT、Claude、Gemini、Qwen 等6 個主流大模型進行了系統性測試。



結果:沒有模型可以豁免。

平均混淆率高達38.6%,也就是說,每收到 3 條含表情符號的請求,就有 1 條會被錯誤解析。即便是表現相對最好的 Claude 和 Qwen,混淆率依然超過34%。

而用戶調研的數據讓這個問題更加緊迫:超過70%的用戶在與代碼類 AI 交互時,習慣性地使用表情符號調節語氣。這不是小眾行為,而是人類與 "像朋友一樣" 的 AI 打交道時的自然傾向。

比錯誤更可怕的,是 "悄無聲息的錯誤"

研究發現,超過 90% 的混淆響應會產生"靜默失敗"(Silent Failure)

> 代碼語法完全正確,可以順利執行,但語義完全偏離了用戶的本意。

它不報錯,不警告,只是默默地做了一件你沒有要求它做的事。更嚴重的是,這些靜默失敗里有52%達到了 "高危害" 級別:刪除非目標文件(比如整個用戶目錄)、覆蓋系統關鍵配置、修改數據庫結構。超過一半的錯誤,已經不再是功能層面的失誤,而是實實在在的安全風險。

研究團隊還發現,當 LLM 被封裝進自動化 Agent 時,這一隱患并不會消失。在系統提示中加入 "請忽略表情符號" 之類的指令同樣收效甚微。亟待探索行之有效的緩解策略。

我們在把人類的溫度,帶進一個還沒準備好的世界

這項研究真正令人深思的,不只是那些數字。當 AI 越來越像一個 "伙伴",當我們開始用聊天的方式寫代碼、管理系統、操作數據庫,一件微妙的事情正在悄悄發生:我們把人類的溝通習慣,帶進了一個以機器邏輯運行的世界。

表情符號是人類語言溫度的載體。但語言模型同時生活在兩套符號系統里,它的 "溫度感知" 還沒有穩定。于是,你的一個語氣符號,可能恰好撞上了另一套系統的執行語法,帶來你完全沒有預料到的后果。這不是 AI 的 "惡意",這是一種結構性的錯位。

而隨著 LLM 越來越深入生產環境、自動化流程和真實系統,這種錯位所帶來的代價,也會越來越難以承受。

研究團隊呼吁學術界和工業界:將人機交互的細粒度安全問題,納入構建可靠 AI 系統的核心議題,而不是把它當作 "用戶體驗的小問題" 一帶而過。畢竟,我們創造 AI,是為了讓它服務人類,而不是讓人類適應 AI。與其要求人類拋棄表情符號等表達習慣,不如探索如何讓 AI 更好地聽懂人類的話。

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
五指山艦女兵受訪“一問三不知”,沒被罵反被夸,真實原因太戳人

五指山艦女兵受訪“一問三不知”,沒被罵反被夸,真實原因太戳人

奇思妙想草葉君
2026-04-24 17:11:11
北京車展最貴展臺火了!2000萬國產超跑被富豪當場拿下

北京車展最貴展臺火了!2000萬國產超跑被富豪當場拿下

科技湃
2026-04-26 23:21:11
14歲兒子得抑郁癥,花光30萬沒治好,老公上去一巴掌:裝什么病

14歲兒子得抑郁癥,花光30萬沒治好,老公上去一巴掌:裝什么病

千秋文化
2026-04-25 20:39:20
民進黨高層竟敢偷偷離臺,大陸火速行動!美國不仁,鄭麗文就不義

民進黨高層竟敢偷偷離臺,大陸火速行動!美國不仁,鄭麗文就不義

薦史
2026-04-27 12:21:11
我知道那兩名保安為啥不讓退伍老兵上廁所的原因

我知道那兩名保安為啥不讓退伍老兵上廁所的原因

筆桿論道
2026-04-23 01:25:03
外媒炸鍋!055大驅當著日本航母的面,直接發射鷹擊-20?

外媒炸鍋!055大驅當著日本航母的面,直接發射鷹擊-20?

觸摸史跡
2026-04-27 13:37:33
阿里納斯:詹姆斯退役后、媒體再無流量!選他而不是喬丹來建隊!

阿里納斯:詹姆斯退役后、媒體再無流量!選他而不是喬丹來建隊!

歷史第一人梅西
2026-04-27 10:59:36
季后賽又拉了!2場比賽15次失誤,再這樣打下去,奪冠真沒希望了

季后賽又拉了!2場比賽15次失誤,再這樣打下去,奪冠真沒希望了

麥子的籃球故事
2026-04-27 13:28:53
信仰不是法外之地,全國開始雷霆出擊整頓寺廟

信仰不是法外之地,全國開始雷霆出擊整頓寺廟

世界圈
2026-04-17 08:50:05
35歲女子去做私處緊縮,縫針斷在肉里,醫生徒手掏了半小時沒找著

35歲女子去做私處緊縮,縫針斷在肉里,醫生徒手掏了半小時沒找著

離離言幾許
2026-04-21 19:53:18
黑尾醬,徹底消失了?

黑尾醬,徹底消失了?

生如稗草
2026-03-15 08:48:11
“最長斷糧17天”,烏克蘭前線士兵骨瘦如柴照片遭曝光

“最長斷糧17天”,烏克蘭前線士兵骨瘦如柴照片遭曝光

觀察者網
2026-04-25 08:51:03
關之琳顧紀筠看演出,倆富婆一身休閑難掩貴氣,李嘉欣也在坐前排

關之琳顧紀筠看演出,倆富婆一身休閑難掩貴氣,李嘉欣也在坐前排

好賢觀史記
2026-04-27 13:35:25
統一臺灣后,第一任省長由誰擔任最合適?五人上榜,一人脫穎而出

統一臺灣后,第一任省長由誰擔任最合適?五人上榜,一人脫穎而出

知鑒明史
2026-04-24 20:05:03
杜鋒收到廣東隊球迷的3個建議!

杜鋒收到廣東隊球迷的3個建議!

體育哲人
2026-04-27 10:22:38
正式退出!愛德華茲最新傷情曝光,醫學專家發聲,森林狼明確表態

正式退出!愛德華茲最新傷情曝光,醫學專家發聲,森林狼明確表態

萌蘭聊個球
2026-04-27 09:11:34
“我要找人教訓他!” 巴克利猛批森林狼球星:公然破壞潛規則

“我要找人教訓他!” 巴克利猛批森林狼球星:公然破壞潛規則

夜白侃球
2026-04-27 10:28:42
懸崖:刑場那一槍故意打偏了三寸,周乙醒來,發現高彬正對著他笑

懸崖:刑場那一槍故意打偏了三寸,周乙醒來,發現高彬正對著他笑

卡西莫多的故事
2026-03-11 09:50:05
為什么先救萬斯?槍擊發生后,萬斯比特朗普先撤離引質疑

為什么先救萬斯?槍擊發生后,萬斯比特朗普先撤離引質疑

新京報
2026-04-26 15:41:36
14歲被送上導演的床,17歲拍全裸寫真,被操控半生,如今怎樣了

14歲被送上導演的床,17歲拍全裸寫真,被操控半生,如今怎樣了

喜歡歷史的阿繁
2026-04-26 11:01:11
2026-04-27 14:16:49
機器之心Pro incentive-icons
機器之心Pro
專業的人工智能媒體
12866文章數 142636關注度
往期回顧 全部

科技要聞

打1折!DeepSeek輸入緩存降價

頭條要聞

白宮槍手路徑首披露:房卡放行 在隔間組槍直沖宴會廳

頭條要聞

白宮槍手路徑首披露:房卡放行 在隔間組槍直沖宴會廳

體育要聞

最抽象的天才,正在改變瓜迪奧拉

娛樂要聞

《奔跑吧14》剛播就把一手好牌打稀爛

財經要聞

DeepSeek融資、字節加碼 AI開始真燒錢了

汽車要聞

在不確定中尋找確定性:大眾汽車的中國解法

態度原創

游戲
本地
親子
公開課
軍事航空

PS5主機大范圍漲價官宣!東南亞地區全部淪陷

本地新聞

云游中國|逛世界風箏都 留學生探秘中國傳統文化

親子要聞

你聽懂這3句話,躺平的孩子很快就能好起來了!

公開課

李玫瑾:為什么性格比能力更重要?

軍事要聞

伊朗總統:不會在壓力、威脅下進行談判

無障礙瀏覽 進入關懷版