作者 ｜ 樊雅婷
郵箱 ｜ fanyating@pingwest.com

最近不少人發(fā)現(xiàn)一個(gè)有意思的玩法：在 DeepSeek 對話框里直接輸入

或者干脆只打一個(gè) ，模型就會(huì)瞬間吐出一大段毫不相干的內(nèi)容——有時(shí)是小說續(xù)寫，有時(shí)是日期計(jì)算，有時(shí)是某個(gè)根本不存在的故事開頭。更怪的是， 每次刷新結(jié)果都不一樣。

APP端也一樣。

目前快速模式刷出概率100% ，專家模式概率較小。

很多人第一反應(yīng)都是DeepSeek是不是把訓(xùn)練數(shù)據(jù)漏出來了？也有人猜是“模型的隱藏咒語”。

這些猜測都不對。

這件事的根因，其實(shí)是一個(gè)語言模型工程師每天都在打交道的概念：對話模板（chat template）被用戶玩壞了。

1

你以為模型看到的是：“你好”，其實(shí)是一整段協(xié)議

在你跟 DeepSeek 聊天時(shí)，輸入框里打的字并不是直接喂給模型的。后端會(huì)把它包成一段類似下面這樣的協(xié)議：

<｜begin▁of▁sentence｜><｜User｜>{你輸入的話}<｜Assistant｜>

這些尖括號包裹的奇怪字符串叫 特殊 token（special tokens）。它們是模型訓(xùn)練時(shí)用來區(qū)分誰在說話 的分隔符——相當(dāng)于劇本里的“角色名 + 冒號”。

模型在監(jiān)督微調(diào)（SFT）階段被反復(fù)訓(xùn)練成一種條件反射：

只有在 <｜Assistant｜> 這個(gè) token 出現(xiàn)之后，我才輪到我說話。

所以平常你打“你好”，模型讀到的是上面那串完整結(jié)構(gòu)，知道現(xiàn)在是用戶問完了，該我答了。

1

當(dāng)你把"協(xié)議本身"打進(jìn)輸入框，會(huì)發(fā)生什么

關(guān)鍵問題來了：如果你把 <｜begin▁of▁sentence｜> 這個(gè) 字面字符串 直接打到輸入框里，前端 / tokenizer 會(huì)怎么處理？

答案是：在很多配置下，它會(huì)被重新識別為真正的特殊 token id，而不是按普通字符分詞。因?yàn)?tokenizer 的詞表里，這串字面值就映射到那個(gè)特殊 id。

這一刻，模型實(shí)際看到的上下文（示意）變成了：

這串東西意味著什么？

• （begin of sentence）：訓(xùn)練里每一條樣本最最開頭出現(xiàn)的特殊標(biāo)記；

• ：標(biāo)記一條全新的 SFT 訓(xùn)練樣本即將開始；

• ：在 R1 訓(xùn)練里，標(biāo)記一段思考獨(dú)白即將開始。

換句話說，你剛剛把模型送回到一條訓(xùn)練樣本"剛剛開始、但用戶還沒提問"的那個(gè)時(shí)間節(jié)點(diǎn)里。

例如獨(dú)立研究者也在復(fù)現(xiàn) R1 單獨(dú)遇到思考 token 時(shí)陷入"自問自答"循環(huán)的現(xiàn)象。

1

語言模型不會(huì)“沉默”，它只會(huì)“繼續(xù)”

這里有一個(gè)很多人沒意識到的事實(shí)：自回歸語言模型不能拒絕輸出。

它的工作機(jī)制是給定前綴，計(jì)算條件分布 P(下一個(gè) token | 前面所有 token)，按這個(gè)分布采樣一個(gè) token，再把它接到前綴后面，繼續(xù)算下一個(gè)。一直循環(huán)到 EOS（end of sentence）才停。

DeepSeek 《模型原理與訓(xùn)練方法說明》里原文是"模型采用自回歸生成方式，基于輸入的上下文內(nèi)容，通過概率計(jì)算預(yù)測最可能接續(xù)的詞匯序列。"也就是說，模型本質(zhì)上只在做一件事：根據(jù)前綴的概率分布，采樣下一個(gè) token。

也就是說——

只要你按了回車，它就必須吐字。你給它的前綴有沒有問題，它一點(diǎn)都不在乎。

所以當(dāng)前綴是 這種純結(jié)構(gòu)、零內(nèi)容的東西時(shí)，它會(huì)從哪里采樣？

它只能從訓(xùn)練集中所有以這串特殊 token 起頭的樣本所構(gòu)成的混合分布里采樣。

DeepSeek 的訓(xùn)練數(shù)據(jù)混合是公開過的——里面有數(shù)學(xué)題、代碼題、長鏈路推理樣本、SFT 階段塞過的對話劇本、長文寫作、小說片段……這些樣本都共享同樣的開頭 token。

所以，突然冒出一道數(shù)學(xué)題或日期計(jì)算可能是命中了 R1 大量的數(shù)學(xué) / 推理樣本；突然開始寫小說可能是命中了 SFT 里的創(chuàng)作類樣本；突然出現(xiàn)另一個(gè)人在跟你聊天可能是命中了對話劇本類樣本......

每次刷新都不一樣是因?yàn)闇囟?> 0 時(shí)，采樣本身就是隨機(jī)的。

沒有用戶問題做錨點(diǎn)，整條生成軌跡完全被噪聲推著走。這不是 AI 在發(fā)瘋或者有自主意識，這是它在一個(gè)沒有錨點(diǎn)的概率空間里自由游走。

1

為什么 R1 比 V3 更“怪”

同樣的玩法，R1 的輸出明顯比 V3 更滔滔不絕、更天馬行空。原因有兩個(gè)：

R1 更加注重 / <｜end▁of▁thinking｜> 這套思考 token 。 通過 RL 和 SFT，模型學(xué)會(huì)看到 就開始獨(dú)白長段落。一旦你單獨(dú)喂它一個(gè) ，等于按下了“獨(dú)白模式”按鈕。

R1 的訓(xùn)練分布里有大量長 CoT（鏈?zhǔn)剿伎迹颖尽?/b> 這些樣本本身就是獨(dú)白幾百上千字才進(jìn)入正題的結(jié)構(gòu)，所以它產(chǎn)生的隨機(jī)內(nèi)容也特別長。

第三方評測曾驗(yàn)證過這一說法 “Deepseek R1 hallucinates significantly more (14.3% hallucination rate) than its predecessor, DeepSeek V3 (3.9%)... R1 appears to 'overhelp,' adding information that's not in the text, even if it's factually correct?！?/p>

1

那“另幾種解釋”為什么不成立？

網(wǎng)上關(guān)于這個(gè)現(xiàn)象，還流傳著其他幾種聲音：

1. 是不是訓(xùn)練數(shù)據(jù)泄漏出來了？

不是。

首先，DeepSeek 官方報(bào)告里說模型并未存儲(chǔ)用于訓(xùn)練的原始文本數(shù)據(jù)副本

其次，學(xué)界共識也一致——除非觸發(fā)極少數(shù)高重復(fù)樣本的逐字記憶（memorization），否則輸出是分布層面的“風(fēng)格相似”，不是逐字泄漏。輸入一個(gè) 就吐隨機(jī)故事完全屬于前者，你看到的是從分布采樣出來的新序列，不是某條訓(xùn)練樣本的逐字回放。

2. 是不是 chat template 寫錯(cuò)了？

部分是。

這類問題在 DeepSeek 的開源社區(qū)里已經(jīng)被多次提出過。
配置疊加導(dǎo)致序列開頭被塞了兩個(gè) BOS，說明這套特殊 token 對訓(xùn)練對齊極其敏感。

類似的還有用戶提到R1-Distill 漏輸出 問題。但這些都不是主因。 主因仍然是用戶能直接把特殊 token 寫進(jìn)輸入。

3. 是不是 AI 出現(xiàn)了詭異的“神秘 token”？

這個(gè)說法描述對了現(xiàn)象，但沒說到原因。
大量特殊 token 在 embedding 空間里像“空白區(qū)”，意義完全依賴上下文。失去錨點(diǎn)后，模型會(huì)在分布的某個(gè)奇怪角落里采樣，于是看上去像憑空生成了一個(gè)算術(shù)題或一段對白。

4. 寫網(wǎng)文的人故意這么用。

不一定。

雖然可能有人專門用裸 來獲得“跳出常規(guī)對話框架的腦暴”，但這種隨機(jī)性太強(qiáng)，不如引導(dǎo)模型后生成創(chuàng)意答案。

1

安全定義

如果將前面的玩法再推進(jìn)一步：不是在個(gè)人對話框里試驗(yàn)，而是在 RAG 應(yīng)用或 Agent 工具調(diào)用的上下文中，注入 <|User|>...<|Assistant|> 這類偽造的角色標(biāo)簽——這其實(shí)就是安全領(lǐng)域一個(gè)真實(shí)存在的攻擊類型。

換句話說，你今天看到的“在輸入框敲入 讓 DeepSeek 胡言亂語”，與未來可能出現(xiàn)的“某 Agent 被誘騙執(zhí)行越權(quán)操作”，出現(xiàn)的原因完全一致：模型對特殊 token 的信任，建立在“它們只應(yīng)來自系統(tǒng)后端”這一假定之上。一旦該假定被攻破，整個(gè)對話協(xié)議便形同虛設(shè)。

防御方案在 OWASP 的《LLM Prompt Injection Prevention Cheat Sheet》中已經(jīng)寫明 后端 tokenizer 必須對用戶輸入做 special-token escaping，強(qiáng)制按 byte 分詞，再疊加嚴(yán)格的 chat-template 校驗(yàn)。

如果某天 DeepSeek 在前端或服務(wù)端補(bǔ)上了這層過濾，今天這個(gè)“咒語”自然就會(huì)失效。

1

總結(jié)

這串字符沒那么玄乎，只是模型對話協(xié)議的內(nèi)部分隔符。

把它直接喂進(jìn)模型，就等于讓一輛按車道線行駛的車回到“還沒畫車道線的起點(diǎn)”——它必須繼續(xù)往前開，但沒人告訴它要去哪。所以它就從訓(xùn)練記憶里隨機(jī)挑一條路線繼續(xù)跑。每次生成的內(nèi)容不一樣，因?yàn)椴蓸颖旧砭褪请S機(jī)的。

這既不是 bug，也不是訓(xùn)練數(shù)據(jù)泄漏，更不是AI意識覺醒。

它是自回歸語言模型 + 被攻破的對話模板共同作用下的一個(gè)普通產(chǎn)物。

它的學(xué)術(shù)名字叫 Special Token Injection——一個(gè)在 AI 安全圈已經(jīng)被研究、被命名、被加入紅隊(duì)工具的、正經(jīng)的現(xiàn)象。

點(diǎn)個(gè)“愛心”，再走 吧