編輯｜Panda

想象這樣一個(gè)場(chǎng)景：你正盯著屏幕，看著你的自主 AI 智能體（比如 OpenClaw）瘋狂地運(yùn)作。

它正在自主審查一個(gè)包含數(shù)十萬行代碼的史詩級(jí)開源項(xiàng)目，穿梭于無數(shù)的文件、API 文檔和調(diào)試日志之間。它表現(xiàn)得像一個(gè)不知疲倦的超級(jí)程序員，但在這「無所不能」的表象之下，潛伏著一個(gè)隨時(shí)可能引爆的硬件夢(mèng)魘 —— 隨著上下文變得越來越長(zhǎng)，大模型的「工作記憶」正在暴漲，像一個(gè)無底洞一樣，無情地吞噬著昂貴的 GPU 顯存池！

這個(gè)令所有企業(yè)級(jí) AI 開發(fā)者聞風(fēng)喪膽的顯存殺手，就是KV Cache。

但現(xiàn)在，解決方案來了，來自麻省理工學(xué)院（MIT）的研究團(tuán)隊(duì)（Adam Zweiger、Xinghong Fu 等人）。他們開發(fā)出了一種名為「注意力匹配」（Attention Matching）的全新潛在空間（Latent Space）壓縮技術(shù)。

• 論文標(biāo)題：Fast KV Compaction via Attention Matching
• 論文地址：https://arxiv.org/pdf/2602.16284
• 代碼地址：https://github.com/adamzweiger/compaction

其能夠在短短幾秒鐘內(nèi)，將大型語言模型的上下文內(nèi)存瘋狂壓縮高達(dá)50倍，且?guī)缀鯖]有任何精度損失！

這意味著原本需要一整個(gè) H100 GPU 陣列才能勉強(qiáng)支撐的超長(zhǎng)對(duì)話或巨型文檔分析任務(wù)，現(xiàn)在可能只需要單張顯卡就能輕松跑滿并發(fā)。一場(chǎng)關(guān)于 AI 基礎(chǔ)設(shè)施的效率革命，似乎已悄然打響。

昂貴的工作記憶

大模型的阿喀琉斯之踵

要理解這項(xiàng)技術(shù)有多么逆天，我們必須先直視大模型的軟肋。

LLM 是自回歸的，它們生成回答時(shí)是逐 token 往外吐的。為了避免在預(yù)測(cè)每一個(gè)新詞時(shí)，都要把長(zhǎng)達(dá)幾萬字的聊天記錄從頭到尾重新計(jì)算一遍，模型必須將之前處理過的每一個(gè) token 的「數(shù)學(xué)靈魂」緩存起來 —— 這些被提取出來的多維向量，就是「鍵（Key）」和「值（Value）」對(duì)，即 KV Cache。

隨著上下文的拉伸，這層工作記憶會(huì)不可逆轉(zhuǎn)地膨脹。

在現(xiàn)代企業(yè)級(jí)應(yīng)用中，比如分析成百上千頁的法律合同、維持長(zhǎng)達(dá)數(shù)月的私人 AI 伴侶記憶，或者運(yùn)行 OpenClaw 這樣的自治編碼智能體，單單一個(gè)用戶的請(qǐng)求，其 KV Cache 就能瞬間飆升到數(shù)十 GB。

正如論文第一作者 Adam Zweiger 所言：「在超長(zhǎng)上下文服務(wù)中，KV Cache 是最大的物理瓶頸。它不僅死死鎖住了并發(fā)量，強(qiáng)迫你縮小批處理規(guī)模，甚至逼著系統(tǒng)進(jìn)行極其影響性能的頻繁卸載?！?/p>

面對(duì)這個(gè)吞金獸，研究者們?cè)鴩L試過許多方案：

1. Token 丟棄與合并（如 H2O, SnapKV, PyramidKV 等）：這些方法試圖踢掉那些模型認(rèn)為「不重要」的 token。在輕度壓縮時(shí)還能湊合，但一旦將壓縮率拉高（比如試圖壓縮 10 倍以上），模型的智商就會(huì)遭遇斷崖式下跌。
2. 文本摘要：這是目前工業(yè)界最無奈的標(biāo)配。當(dāng)內(nèi)存見底時(shí)，系統(tǒng)暫停，讓模型自己寫一段上下文總結(jié)，然后清空原有記憶。這種方法極度「有損」，會(huì)把極其關(guān)鍵的微小細(xì)節(jié)（比如醫(yī)療記錄里的一個(gè)罕見指標(biāo)）徹底抹除。
3. 潛空間壓縮（如 Cartridges）：這是近期的前沿探索，證明了高比例壓縮不僅可行，而且還能保持高精度。但它的代價(jià)極其高昂：它需要通過極其緩慢的端到端梯度下降來訓(xùn)練這些壓縮后的記憶。為了壓縮一段上下文，哪怕動(dòng)用昂貴的 GPU，也需要耗費(fèi)數(shù)小時(shí)！這在要求「秒回」的實(shí)時(shí)企業(yè)應(yīng)用中，簡(jiǎn)直是天方夜譚。

我們需要一種既有 Cartridges 的精度，又有傳統(tǒng)方法速度的終極魔法。而 MIT 的「注意力匹配」，正是為此而生。

打破常理的數(shù)學(xué)魔法

「注意力匹配」的底層邏輯

MIT 的研究人員沒有死磕緩慢的機(jī)器學(xué)習(xí)訓(xùn)練，而是想出了一個(gè)絕妙的數(shù)學(xué)捷徑。他們退后一步，問了一個(gè)極其本質(zhì)的問題：當(dāng)我們壓縮記憶時(shí)，模型究竟在乎什么？

答案是：模型根本不在乎你存了多少個(gè) Key 和 Value，它只在乎當(dāng)它拋出一個(gè)查詢（Query，即 q）時(shí)，這堆記憶能給它返回什么結(jié)果！

為了完美欺騙 AI，讓它覺得「壓縮后的記憶和原本龐大的記憶一模一樣」，壓縮后的鍵值對(duì) (C_k, C_v) 必須嚴(yán)格匹配原始記憶的兩個(gè)核心數(shù)學(xué)屬性：

1. 注意力輸出（Attention Output）：這是 AI 提取到的實(shí)際信息向量。
2. 注意力質(zhì)量（Attention Mass）：這是極其關(guān)鍵的一點(diǎn)。在拼接新 token 或舊記憶時(shí)，一段記憶的話語權(quán)取決于它的「質(zhì)量」。

如果你直接把 1000 個(gè) token 壓縮成 20 個(gè)，那么這 20 個(gè) token 的「總質(zhì)量」絕對(duì)拼不過原本的 1000 個(gè)，這會(huì)導(dǎo)致模型在后續(xù)推理時(shí)，極度輕視這部分被壓縮的記憶。為了破解這個(gè)死局，研究團(tuán)隊(duì)引入了一個(gè)微小但堪稱神來之筆的變量：每 token 標(biāo)量偏差 β。

這個(gè) β 偏差就像是一個(gè)「杠桿權(quán)重」，它在注意力計(jì)算的指數(shù)層面上對(duì)保留下來的 Key 進(jìn)行乘法重加權(quán)，讓區(qū)區(qū) 1 個(gè)被保留的 Key，能夠爆發(fā)出代表 50 個(gè)被移除 Key 的巨大「質(zhì)量」！

如果用嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)語言（如論文中的公式 1 和 2）來表達(dá)，他們要優(yōu)化的目標(biāo)就是找到 (C_k,β, C_v)，使得對(duì)于所有相關(guān)的查詢 q：

并且匹配總質(zhì)量：

更驚人的是，由于這種精妙的框架構(gòu)建，這個(gè)看似復(fù)雜的非線性優(yōu)化問題，竟然自然而然地解體了！研究人員完全摒棄了吃算力的反向傳播和梯度優(yōu)化。

• 首先，鎖定 C_k 后，質(zhì)量匹配問題退化成了一個(gè)非負(fù)最小二乘法（NNLS）問題，瞬間就能計(jì)算出偏差 β。
• 隨后，注意力輸出匹配問題直接變成了一個(gè)標(biāo)準(zhǔn)的普通最小二乘法（OLS）問題，通過簡(jiǎn)單的代數(shù)矩陣運(yùn)算，眨眼間就能求出壓縮后的值 C_v！

這簡(jiǎn)直是降維打擊。原本需要數(shù)小時(shí)的訓(xùn)練，被線性代數(shù)優(yōu)化到了以「秒」為單位。

來自 VentureBeat，由 AI 生成

預(yù)判你的預(yù)判

如何提取「參考查詢」與挑選「金鑰匙」？

有了數(shù)學(xué)武器，接下來的工程落地同樣驚艷。為了讓壓縮算法知道該保留什么，系統(tǒng)需要一批「參考查詢」（Q_ref），作為模型未來可能提出的問題的「替身」。

研究團(tuán)隊(duì)設(shè)計(jì)了極其聰明的「預(yù)演」機(jī)制：

• 重復(fù)預(yù)填充：悄悄在文檔末尾加一句隱藏指令：「重復(fù)前面的上下文」，然后捕獲模型在試圖復(fù)述時(shí)產(chǎn)生的內(nèi)部 Query 向量。
• 自我學(xué)習(xí)：讓模型對(duì)文檔進(jìn)行快速的合成任務(wù)，比如「提取所有核心事實(shí)」或「把日期結(jié)構(gòu)化為 JSON」，從而嗅探出模型在深度推理時(shí)會(huì)生成什么樣的 Query。

手里攥著這些極具代表性的 Query 探針，系統(tǒng)開始從原始的茫茫 Key 海中挑選「金鑰匙」（C_k）。論文中提供了兩種方法：

1. 最高注意力法（Highest Attention Keys）：這是一種閃電般的啟發(fā)式方法，直接挑出在參考查詢中被關(guān)注度最高的 Keys。速度極快，性價(jià)比超高。
2. 正交匹配追蹤（Orthogonal Matching Pursuit, OMP）：這是一種更加極客和貪婪的算法。它像搭積木一樣，每一步都精挑細(xì)選一個(gè)最能填補(bǔ)「質(zhì)量誤差」殘差的 Key，然后用 NNLS 重新校準(zhǔn)權(quán)重。雖然稍微耗時(shí)（依然只是幾分鐘級(jí)別），但能將壓實(shí)質(zhì)量推向巔峰（AM-OMP）。

并非所有「注意力」生來平等

非均勻壓縮策略

這還不是重點(diǎn)，在深入探索模型架構(gòu)時(shí)，他們發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：在多頭注意力機(jī)制中，并非所有的「頭」都是工作狂。

有些 Head 極度貪婪，需要龐大的 KV 容量才能保持性能（比如負(fù)責(zé)長(zhǎng)程依賴的 Head）；而另一些 Head 則極其佛系，哪怕你把它的記憶砍掉 90%，它依然能完美運(yùn)轉(zhuǎn)（比如只關(guān)注局部詞法結(jié)構(gòu)的 Head）。

基于這個(gè)洞察，團(tuán)隊(duì)開發(fā)了非均勻壓縮（Nonuniform Compaction）策略：為每一個(gè)模型預(yù)先計(jì)算了一條「敏感度曲線」，就像是給每一個(gè)注意力頭進(jìn)行了一次體檢。在實(shí)際壓縮時(shí)，系統(tǒng)不再是一刀切，而是將極其寶貴的顯存預(yù)算，傾斜分配給那些對(duì)信息最敏感的「核心 Head」。這一策略的引入，直接讓壓縮后的模型性能實(shí)現(xiàn)了質(zhì)的飛躍！

即使在像 Gemma-3-12B 這種大量使用了滑動(dòng)窗口注意力的混合架構(gòu)模型上，注意力匹配依然表現(xiàn)出了驚人的適應(yīng)性和魯棒性。

壓力測(cè)試

見證奇跡的時(shí)刻

為了驗(yàn)證這項(xiàng)技術(shù)是否真的能在現(xiàn)實(shí)世界的絞肉機(jī)中存活，研究人員選擇了 Qwen3-4B、Llama3.1-8B 和 Gemma3-12B，并將它們?nèi)舆M(jìn)了兩個(gè)截然不同的測(cè)試場(chǎng)。

1. QuALITY 基準(zhǔn)測(cè)試：秒殺全場(chǎng)

在這個(gè)包含 5000 到 8000 詞的標(biāo)準(zhǔn)閱讀理解測(cè)試中，Attention Matching 在 50 倍的極限壓縮比下，僅僅耗時(shí)幾秒到一分鐘（取決于是否使用 OMP 算法），就徹底打爆了 H2O+、SnapKV、KVzip 等所有基于 token 裁剪的前輩。它的準(zhǔn)確率曲線緊緊咬住了耗時(shí)數(shù)小時(shí)的 Cartridges，詮釋了什么是「快、準(zhǔn)、狠」。

2. LongHealth 醫(yī)療卷宗：傳統(tǒng)方案的墳?zāi)?/p>

這是一個(gè)代表真正企業(yè)級(jí)挑戰(zhàn)的數(shù)據(jù)集。整整 60,000 個(gè) token，塞滿了多個(gè)患者復(fù)雜的病歷、化驗(yàn)單和用藥記錄，信息密度極高。

在這個(gè)測(cè)試中，工業(yè)界最愛用的「文本摘要」徹底淪為笑柄 —— 它的準(zhǔn)確率跌到了和「不提供任何上下文（No-Context）」一模一樣的底線，意味著模型看了摘要等于沒看。

而 Attention Matching 則猶如戰(zhàn)神附體，大幅超越了所有傳統(tǒng)權(quán)宜之計(jì)。

當(dāng)然，Zweiger 也坦誠(chéng)地給出了工程建議：「對(duì)于這種極高信息密度的任務(wù)，如果你想保留所有細(xì)節(jié)，建議將壓縮比調(diào)得溫和一些（比如 10 倍或 20 倍），以換取絕對(duì)的精確度?！?/p>

3. AIME 2025 在線動(dòng)態(tài)壓縮：飛行中換引擎

最讓人熱血沸騰的，是針對(duì)在線壓縮的概念驗(yàn)證。面對(duì) AIME 頂級(jí)數(shù)學(xué)推理題，研究人員鎖死了物理內(nèi)存上限。模型就像是在一個(gè)狹小的籠子里進(jìn)行極度消耗腦力的計(jì)算。

每當(dāng)內(nèi)存爆滿，系統(tǒng)就會(huì)瞬間按下暫停鍵，用 Attention Matching 將其工作記憶暴力壓縮 50%，然后讓模型繼續(xù)思考！即使在一次解題過程中，連續(xù)六次「切除」一半的記憶，模型最終依然成功找到了正確答案，其表現(xiàn)與擁有無限內(nèi)存的模型完全一致。

這對(duì)于 OpenClaw 這樣需要長(zhǎng)時(shí)間運(yùn)行、不斷產(chǎn)生冗長(zhǎng)工具調(diào)用日志的 Agent 來說，簡(jiǎn)直是救命稻草！

甚至，對(duì)于那些追求壓縮率、對(duì)精度要求稍寬容的場(chǎng)景，研究人員還玩出了一種「200 倍壓縮」的組合技：先讓模型生成文本摘要，然后再對(duì)摘要的 KV Cache 進(jìn)行 Attention Matching 壓縮！最終在微乎其微的顯存占用下，達(dá)到了與純摘要一樣的準(zhǔn)確率。

結(jié)語

從開發(fā)者自救到大廠標(biāo)配的范式轉(zhuǎn)移？

當(dāng)然，沒有任何魔法是沒有代價(jià)的。

必須指出的是，如果你面對(duì)的是極其復(fù)雜的數(shù)據(jù)，并且非要追求 100 倍以上壓縮，那么緩慢的、基于梯度優(yōu)化的 Cartridges 依然能在精度上險(xiǎn)勝一籌，因?yàn)樗茉诟鼜V闊的潛空間中搜索最優(yōu)解，而不受限于「從原始 Key 中挑選」的設(shè)定。

此外，這套神技目前還不是一個(gè)可以「無腦安裝」的插件軟件。正如 Zweiger 解釋的那樣：「潛空間壓縮是一種模型層的技術(shù)。你必須擁有訪問模型權(quán)重的權(quán)限?！惯@意味著，如果你完全依賴閉源的 API（比如直接調(diào)用 GPT-4 接口），你是無法自己實(shí)現(xiàn)這套魔法的。企業(yè)要想享受這種顯存自由，必須擁抱開源權(quán)重模型（如 Llama 3、Qwen 3）。

而且，要將這種潛空間 KV 壓縮技術(shù)編織進(jìn)現(xiàn)代極其復(fù)雜的商用推理引擎（那些早已布滿了前綴緩存、變長(zhǎng)內(nèi)存打包等復(fù)雜技巧的系統(tǒng)）中，依然需要工程師們掉光不少頭發(fā)。

但趨勢(shì)已無可阻擋。正如 Zweiger 所預(yù)言的：「我們正在見證上下文壓縮發(fā)生根本性的范式轉(zhuǎn)移 —— 它正從『企業(yè)自己拼湊的粗糙工程』，進(jìn)化為『底層模型提供商內(nèi)置的核武器』。比如 OpenAI 最近推出的黑盒壓縮端點(diǎn)，返回的就是一個(gè)不透明的對(duì)象，而不是純文本摘要。」

當(dāng)「注意力匹配」徹底融入 AI 基礎(chǔ)設(shè)施的血液中時(shí)，顯存瓶頸將被徹底擊碎。到那時(shí)，像 OpenClaw 這樣的智能體，也許真的能夠以單機(jī)之軀，吞吐整個(gè)世界的知識(shí)。

https://venturebeat.com/orchestration/new-kv-cache-compaction-technique-cuts-llm-memory-50x-without-accuracy-loss