這項由瑞士聯(lián)邦理工學(xué)院（EPFL）CLAIRE實驗室開展的研究，于2026年5月以預(yù)印本形式發(fā)布在arXiv平臺，論文編號為arXiv:2605.28640。有興趣深入了解的讀者可以通過該編號查詢完整論文。

手機(jī)里的語音助手、網(wǎng)頁上的智能聊天機(jī)器人、幫你潤色文章的AI寫作工具——這些我們?nèi)粘＝佑|的人工智能產(chǎn)品，背后都依賴一種叫做"大型語言模型"的技術(shù)。這類模型特別擅長理解和生成文字，但它有一個令工程師頭疼的缺點：處理很長的文本時，計算量會急劇膨脹，速度變慢，成本飆升。更麻煩的是，當(dāng)研究者嘗試用各種"節(jié)省計算"的技巧讓模型快起來時，模型的準(zhǔn)確率往往會大幅下降——就好像一邊給運動員減重，一邊發(fā)現(xiàn)他的成績也在跌落。

EPFL的研究團(tuán)隊在這個困境中找到了一條新路。他們發(fā)現(xiàn)，只需給AI模型裝上一個類似"短期記憶手冊"的小模塊，那些原本會因為"偷懶"（即跳過大量信息）而出錯的加速技巧，準(zhǔn)確率竟然大幅回升，有時甚至接近完整閱讀所有信息時的水平。這個發(fā)現(xiàn)意味著，讓AI又快又準(zhǔn)，并非只能靠改進(jìn)"偷懶方式"本身，還可以從改造AI的基礎(chǔ)架構(gòu)入手。

一、為什么AI處理長文章會這么"費勁"

要理解這項研究解決的是什么問題，可以從一個日常場景出發(fā)。假設(shè)你是一位公司行政人員，每天要處理幾百封郵件。大多數(shù)郵件你掃一眼就能判斷是否重要，但偶爾有一封關(guān)鍵合同藏在幾百封廣告郵件之間，你必須仔細(xì)找到它并做出回應(yīng)。

現(xiàn)在的大型語言模型處理長文本時，情況很像這位行政人員面對幾百封郵件：它需要把文本中所有詞語兩兩之間的關(guān)系都計算一遍，才能判斷哪些信息最重要。文本越長，需要計算的關(guān)系就呈平方級增長——文本長度翻倍，計算量變成原來的四倍。這個特性在技術(shù)上被稱為"注意力機(jī)制的二次方復(fù)雜度"，是當(dāng)前AI推理速度慢、成本高的核心原因。

為了解決這個問題，研究人員想出了各種"偷懶"策略，核心思路是：反正注意力是稀疏的（大多數(shù)詞語之間的關(guān)聯(lián)其實很弱），那就只計算最重要的部分，跳過其余的。Quest、MoBA、SnapKV就是這類策略的代表，它們分別針對不同環(huán)節(jié)——有的減少生成答案時的計算量，有的減少理解問題時的計算量，有的直接丟掉模型存儲的大量中間信息。這些方法確實讓模型快了起來，但代價是準(zhǔn)確率下降，尤其在需要精確檢索特定信息的任務(wù)上，表現(xiàn)會明顯變差。

二、一個"短期記憶手冊"如何改變游戲規(guī)則

EPFL的研究團(tuán)隊把目光投向了另一個方向：與其修補"偷懶"方法本身，不如改造AI模型的基礎(chǔ)架構(gòu)，讓它在"偷懶"時損失更少的信息。

他們使用的核心工具來自此前發(fā)表的一項架構(gòu)設(shè)計，叫做RAT+（全稱Recurrence-Augmented Attention，即"循環(huán)增強(qiáng)注意力"）。這個名字聽起來很技術(shù)，但核心思想其實很直覺：在標(biāo)準(zhǔn)的注意力模塊旁邊，加入一個輕量級的"記憶更新機(jī)制"，讓每一個詞語的關(guān)鍵向量（也就是模型用來互相"打招呼"和"傳遞信息"的中間量，技術(shù)上叫KV狀態(tài)）在流經(jīng)模型時，不只是自身的信息，還悄悄混入了前面詞語留下的"印記"。

這個印記是指數(shù)級衰減的：距離越遠(yuǎn)的詞語，它留下的影響越淡；越近的詞語，影響越濃。這種機(jī)制就像一本隨手翻閱的"短期記憶手冊"——你不可能記住前天讀過的每一個字，但昨天看到的重點會在你腦海里留下淡淡的痕跡，幫助你今天理解新的內(nèi)容。

從數(shù)學(xué)上看，這個更新過程可以用一個簡單的遞推公式描述：每個時刻，值向量和鍵向量都被一個輸入相關(guān)的"門控信號"按比例混合——一部分保留上一刻的記憶，一部分吸收當(dāng)前詞語的新信息。通過控制"有效記憶長度"（研究團(tuán)隊把它固定在64個詞語的范圍內(nèi)），這個模塊只引入極少的額外計算量和存儲開銷，幾乎可以忽略不計，卻能讓每個詞語的向量悄悄承載更豐富的上下文信息。

這對"偷懶"的加速方法意味著什么呢？當(dāng)模型在做"跳過大部分信息、只看少數(shù)關(guān)鍵片段"的稀疏計算時，它選中的那些片段，現(xiàn)在每一個都藏著來自附近詞語的記憶印記。就算關(guān)鍵答案的位置恰好沒被選中，附近被選中的片段也可能攜帶著答案的"殘影"，幫助模型給出正確的回答。

三、三種"偷懶"方法都從中受益了嗎

研究團(tuán)隊選取了三種在學(xué)術(shù)界頗具代表性、各自針對不同效率瓶頸的稀疏推理方法，來驗證這個"短期記憶手冊"是否真的有幫助。

第一種是Quest，專門減少模型在生成每個答案詞時需要訪問的信息量。它把存儲的信息切成一塊一塊，每次生成時只調(diào)取得分最高的少數(shù)幾塊，其余的暫時忽略。第二種是MoBA，工作方式與Quest類似，但主要作用于模型理解問題的階段，而非生成答案的階段。第三種是SnapKV，思路更激進(jìn)：在模型理解完問題之后，直接把大部分存儲的中間信息扔掉，只保留被認(rèn)為重要的那些，之后生成答案時就只能在這個被"剪枝"后的信息庫里檢索。

為了公平測試，研究團(tuán)隊設(shè)計了嚴(yán)格的對比實驗：在同樣的模型上，分別用原始的標(biāo)準(zhǔn)注意力架構(gòu)和加了記憶模塊的RAT+架構(gòu)，以同樣的"偷懶"比例（保留1/4、1/8或1/16的信息）運行上述三種方法，然后在一系列"大海撈針"類型的任務(wù)上比較準(zhǔn)確率。

所謂"大海撈針"任務(wù)，是指把一些關(guān)鍵數(shù)字或字符串藏在一大段無關(guān)文字中，讓模型找出來并正確回答相關(guān)問題。這類任務(wù)對信息檢索的精確度要求很高，是測試稀疏方法可靠性的絕佳場景。具體而言，研究團(tuán)隊使用了來自RULER基準(zhǔn)測試集的八種不同變體，從最簡單的"從背景噪聲中取出單個數(shù)字"，到最難的"從大量相似誘餌中區(qū)分多組鍵值對并精確匹配UUID字符串"，難度跨度很大。

四、數(shù)字說話：記憶模塊帶來了多大的改善

實驗結(jié)果相當(dāng)清晰，記憶模塊在幾乎所有任務(wù)和所有稀疏比例上都帶來了顯著的準(zhǔn)確率提升。

以SnapKV為例，在7B參數(shù)（70億參數(shù)）從零訓(xùn)練的模型上，使用1/4的信息預(yù)算時，RAT+架構(gòu)比標(biāo)準(zhǔn)注意力架構(gòu)平均提升了34.11個百分點；使用1/8預(yù)算時，提升幅度擴(kuò)大到40.03個百分點。在最嚴(yán)苛的1/16預(yù)算下，最簡單的單針檢索任務(wù)（S-1）準(zhǔn)確率從39.2飆升至84.2。

Quest方法在簡單任務(wù)上本來就做得不錯，差距主要體現(xiàn)在難任務(wù)上。在多鍵匹配任務(wù)（MK-2和MK-3）中，RAT+架構(gòu)將準(zhǔn)確率從76.4提升到99.4，從68.0提升到98.6，接近完美。

MoBA在RAT+架構(gòu)下的表現(xiàn)更是令人印象深刻：在1/16預(yù)算下，所有八個任務(wù)的準(zhǔn)確率幾乎全部達(dá)到或接近100%，而標(biāo)準(zhǔn)注意力架構(gòu)在同樣預(yù)算下，有些任務(wù)的準(zhǔn)確率只有50%左右。

更重要的是，這個結(jié)論不僅適用于從零訓(xùn)練的模型。研究團(tuán)隊還在OLMo2-7B上做了驗證——這是一個由Allen AI研究所在數(shù)萬億規(guī)模的文本上預(yù)訓(xùn)練的成熟模型。研究團(tuán)隊僅用了100億個詞語的額外訓(xùn)練（相比原模型的數(shù)萬億，只是九牛一毛），就成功為OLMo2-7B加裝了這個記憶模塊。即便訓(xùn)練量如此有限，效果依然顯著：Quest在MK-2任務(wù)上準(zhǔn)確率從68.0跳至98.6，MoBA在MK-3任務(wù)上從53.6升至94.8。這說明，這個思路可以遷移到已有的大型商業(yè)模型上，而不需要從零重新訓(xùn)練。

五、為什么會有這樣的效果？兩個假設(shè)

面對如此一致的提升，研究團(tuán)隊并沒有停留在"它就是有效"的層面，而是進(jìn)一步追問背后的原因，并提出了兩個互補的假設(shè)。

第一個假設(shè)是：記憶模塊讓模型在"選哪些信息塊"這件事上做得更準(zhǔn)了。可以把這個過程類比為圖書館管理員給書架上的書貼標(biāo)簽。標(biāo)準(zhǔn)注意力架構(gòu)給每本書貼的標(biāo)簽，只反映那本書本身的內(nèi)容；而加了記憶模塊后，標(biāo)簽上還隱隱包含了"這本書旁邊放著什么書"的提示，于是當(dāng)有人來找特定內(nèi)容時，管理員更容易精確定位到正確的書架區(qū)域。

為了驗證這個假設(shè)，研究團(tuán)隊統(tǒng)計了模型每個"注意力頭"（可以理解為模型內(nèi)部專門負(fù)責(zé)不同類型信息檢索任務(wù)的小團(tuán)隊）選中的信息塊是否真的包含了正確答案所在的位置。他們發(fā)現(xiàn)，RAT+架構(gòu)下，排名靠前的那些注意力頭，命中正確答案的比率明顯高于標(biāo)準(zhǔn)注意力架構(gòu)，尤其是在那些帶來了較大準(zhǔn)確率提升的任務(wù)上，差距最為突出。

第二個假設(shè)是：即使選錯了信息塊，記憶模塊也能幫忙"亡羊補牢"。這是因為被選中的信息塊，在RAT+架構(gòu)下攜帶了更豐富的上下文記憶，哪怕正確答案的原始位置沒被直接選中，附近被選中的信息塊也可能通過記憶傳遞的方式，間接保存了答案的相關(guān)線索。

這個假設(shè)的驗證方式很巧妙：研究團(tuán)隊把正常的"智能選擇器"換成了"隨機(jī)選擇器"——也就是說，模型不再根據(jù)查詢內(nèi)容選擇最相關(guān)的信息塊，而是完全隨機(jī)抽取同等數(shù)量的信息塊。如果記憶模塊的提升完全來自"選得更準(zhǔn)"，那么在隨機(jī)選擇的條件下，兩種架構(gòu)應(yīng)該表現(xiàn)差不多。但實驗結(jié)果顯示，即便是隨機(jī)選擇，RAT+架構(gòu)的準(zhǔn)確率依然遠(yuǎn)高于標(biāo)準(zhǔn)注意力架構(gòu)。以Quest方法、1/4預(yù)算為例，在MK-1任務(wù)上，隨機(jī)選擇下RAT+的準(zhǔn)確率為84.9，而標(biāo)準(zhǔn)注意力僅為53.4；在MV任務(wù)上，RAT+是74.4，標(biāo)準(zhǔn)注意力只有39.6。這有力地支持了第二個假設(shè)：記憶模塊確實讓每個被選中的信息塊攜帶了更多有價值的內(nèi)容，提供了額外的信息傳遞路徑。

值得一提的是，研究團(tuán)隊在隨機(jī)選擇實驗中還發(fā)現(xiàn)了一個有趣的細(xì)節(jié)：在這種情況下，SnapKV的表現(xiàn)反而比Quest更好，而在正常選擇條件下，Quest往往優(yōu)于SnapKV。這個反轉(zhuǎn)可以解釋為：SnapKV在理解問題后只做一次選擇，隨機(jī)性相對集中；而Quest在每次生成詞語時都重新做隨機(jī)選擇，隨機(jī)噪聲在整個生成過程中持續(xù)累積，對結(jié)果的干擾更大。

六、這項研究說明了什么更深層的道理

傳統(tǒng)上，研究高效AI推理的工作大多聚焦于如何設(shè)計更聰明的"偷懶"方式——更精準(zhǔn)的信息篩選算法、更高效的數(shù)據(jù)結(jié)構(gòu)、更合理的壓縮策略。EPFL這項研究提供了一個不同的視角：也可以從模型架構(gòu)本身下手，讓模型的每一個中間表示天然地攜帶更豐富的信息，從而使任何"偷懶"方法都能在更好的信息基礎(chǔ)上運作。

這個視角的意義在于，它打開了一個新的優(yōu)化維度。不同的稀疏推理方法可以各自繼續(xù)演進(jìn)，而一個更好的基礎(chǔ)架構(gòu)可以像地基一樣，讓所有上層方法都受益。研究團(tuán)隊選取的三種方法覆蓋了"減少生成時計算量"、"減少理解時計算量"和"壓縮存儲信息"三個不同的效率目標(biāo)，它們?nèi)紡挠洃浤K中獲益，這說明這種基礎(chǔ)架構(gòu)改進(jìn)的紅利具有相當(dāng)?shù)钠毡樾浴?/p>

當(dāng)然，這項研究也有其局限性。所有實驗都在4096個詞語（4K）的上下文長度下進(jìn)行，沒有驗證更長文本場景下的效果。評測任務(wù)主要限于RULER基準(zhǔn)中的八種"大海撈針"變體，沒有覆蓋問答、摘要、代碼生成等更多樣化的任務(wù)。此外，研究只測試了Quest、MoBA和SnapKV三種方法，還有許多其他稀疏推理方法尚未被納入。在OLMo2-7B的實驗中，記憶模塊獲得的訓(xùn)練量遠(yuǎn)少于原始模型參數(shù)，這在一定程度上可能影響了公平性，盡管研究團(tuán)隊通過有監(jiān)督微調(diào)做了彌補。

歸根結(jié)底，EPFL的這項研究傳遞了一個簡潔的信息：讓AI在"偷懶"時更聰明，不一定只能靠改進(jìn)偷懶的方式，也可以靠給AI裝上一個更好的短期記憶機(jī)制，讓它就算偷懶，也能從更豐富的信息中找到答案。這對于未來長文本AI系統(tǒng)的設(shè)計來說，是一個值得深入探索的方向。

Q&A

Q1：RAT+里的"指數(shù)衰減記憶"到底是怎么工作的？

A：簡單來說，RAT+在模型處理每個詞語時，會把當(dāng)前詞語的關(guān)鍵向量（KV狀態(tài)）與前一時刻的向量按比例混合——通過一個"門控信號"控制保留多少舊記憶、吸收多少新信息。離得越遠(yuǎn)的詞語，它的影響會指數(shù)級遞減，就像記憶隨時間逐漸淡化一樣。研究團(tuán)隊把這個有效記憶范圍控制在64個詞語以內(nèi)，使得該模塊的額外計算開銷極小，卻能讓每個向量悄悄攜帶附近上下文的信息。

Q2：Quest、MoBA和SnapKV這三種方法有什么區(qū)別？

A：三種方法針對的效率瓶頸不同。Quest在模型生成每個答案詞時，只調(diào)取得分最高的少數(shù)信息塊，減少解碼階段的計算量，但仍然保留完整的信息存儲。MoBA則主要作用于模型理解問題的階段，同樣采用分塊選擇策略，也保留完整存儲。SnapKV最為激進(jìn)，在理解問題后直接丟棄大部分存儲信息，只保留重要的部分，因此既減少存儲空間，也減少后續(xù)生成時的計算量，但信息一旦丟棄就無法找回。

Q3：OLMo2-7B加裝記憶模塊只需要訓(xùn)練100億詞語，這是否足夠？

A：研究團(tuán)隊坦承，100億詞語的訓(xùn)練量遠(yuǎn)少于OLMo2-7B原始的數(shù)萬億訓(xùn)練量，因此記憶模塊的訓(xùn)練并不充分。為此，他們在評測前額外對兩種架構(gòu)都進(jìn)行了針對任務(wù)的有監(jiān)督微調(diào)，以縮小這種不平衡帶來的影響。即便如此，加裝記憶模塊后的OLMo2-7B在多數(shù)任務(wù)上仍然展現(xiàn)出顯著優(yōu)勢，說明即使訓(xùn)練有限，這個機(jī)制也能帶來實質(zhì)性的改進(jìn)，同時也暗示如果給予更充分的訓(xùn)練，效果可能還會進(jìn)一步提升。