根據韓國媒體THE ELEC近日援引業內人士消息報道稱，三星電子計劃于今年六月后第三季度向主要服務器和數據中心客戶交付基于CXL 3.1協議的CMM-D內存模塊樣品，如果客戶資格審查順利進行，目標今年四季度實現大規模量產。

圖片說明：三星電子目標在今年第四季度實現基于CXL 3.1協議的內存產品量產，數據來源于THE ELEC

根據瀾起科技(688008.SH)在5月15日公告的《投資者關系活動記錄表》，公司預計今年是CXL規模化部署的起點，預計到2027年將進入CXL規模商用的元年。瀾起科技的關于CXL放量的時點判斷與三星電子基本一致。

當行業內兩大巨頭行動一致之際，意味著CXL的拐點即將到來。CXL（Compute Express Link），一個在過去被定位為“可選”的技術協議，正在加快速度朝著“必選”的方向邁進。

圖片說明：瀾起科技關于CXL規模化商用的時點判斷，數據來源于瀾起科技

推理算力短缺，衍生出來了新的問題

同樣是算力短缺，但2026年以來的算力短缺與之前的算力短缺有點不太一樣：

在2026年以前，北美云計算企業們和獨立大模型企業們（如Anthropic、OpenAI等），整日都在進行軍備競賽，企業們為了訓練出更好的AI大模型而瘋搶算力卡，進而造成算力短缺，算力短缺的矛盾集中在訓練端。

而過去解決訓練算力短缺，主要采取的方法是提高GPU的單卡算力更高，同時采用新的互聯技術和互聯架構，讓算力卡和算力卡之間（例如Scale up場景）、機架和機架之間（例如Scale out場景）等等，能夠更加高效的用光通信技術互相連接起來（如光模塊方案、CPO方案等等）。

然而2026年以來，隨著Agentic AI的出現、以及Coding、多模態等為代表的AI應用普及，token需求暴增，算力短缺的矛盾正在迅速向推理端傾斜。

推理算力短缺，會衍生出來一系列新的問題，這與訓練算力短缺的解法，并不完全一致。

在Transformer架構的AI大模型（如豆包、Deepseek）輸出文本時，輸出方式是一個token一個token往外“蹦”的，每輸出下一個token，都必須結合之前所有的上下文。為了避免每次生成新的token時都把前面所有的token重新計算一遍（那樣計算量太大了），因此人們設計了一種“偷懶”的方法，把上下文的一些特征緩存下來（即Key和Value向量），形成一個類似于“記事本”的東西，這樣就避免了重復計算，這個“記事本”被稱作KV Cache（鍵值緩存）。

在Agentic AI出現以前，AI推理主要是一問一答的Chatbot模式，例如問豆包，“幫我復盤一下今天A股的市場行情，并幫我寫一個簡要的總結”。一般來說，豆包會在幾秒內生成答案，輸出的答案即token，大約幾千個。如果繼續問其他問題，上下文token就幾千個、最多幾萬個，KV Cache占用并不明顯。

但是用Agentic AI就完全不一樣了，同樣的問題，token可能會產生幾十萬甚至上百萬個，因為Agent AI在解決問題時，會使用ReAct（思考-行動-觀察）框架，它會調用搜索工具、運行代碼、報錯后自我糾正。這個過程中，每一輪的中間思考過程和返回的結果，都會被塞進對話歷史中，隨著任務的推進，上下文就像滾雪球一樣越來越長，對應KV Cache會呈指數級飆升。

例如，去年12月有專業研究團隊讓Claude Code（Anthropic的Agentic AI編程工具）執行了一個代碼修復任務，并對Claude Code的底層運行機制進行了逆向工程和流量追蹤，測試結果為：在這個單一的任務生命周期內，用時合計13分鐘，token累計消耗量高達約200萬個。

圖片說明：Agentic AI對token的消耗量是巨大的，數據來源于論文《Context Engineering & Reuse Pattern Under the Hood of Claude Code》

一個Agentic AI任務就可以占用上百萬個token，這意味著什么呢？

按照KV Cache的計算公式，100萬Token大約會產生320GB的KV Cache（不同大模型有所差異，但大差不差），這就已經超過了英偉達B300單卡配備的12層HBM3e的總顯存容量288GB。

因此問題是清晰的，在Agentic AI時代，僅靠HBM的顯存是遠遠裝不下KV Cache的。

圖片說明：KV Cache的計算公式，數據來源于Meta

解決HBM顯存不足的方法

面對指數級增長的KV Cache，目前有以下幾種解決方法：

第一種方法，是增加HBM顯存容量。例如Rubin Ultra原本計劃采用16層堆疊HBM4e顯存，容量1TB，近期又傳聞因為良率問題，改為12層堆疊，總顯存降至768GB。

這種方法是英偉達正在做的，但是一方面HBM很貴，且迭代速度較慢；另一方KV Cache是指數級增長的，HBM顯存容量是線性增長的，后者難以追趕前者增長速度，因此這種方法是必須的，但同時是治標不治本的。

圖片說明：HBM4e顯存遭遇良率問題，數據來源于新浪財經

第二種方法，是通過先進算法去壓縮KV Cache。例如Token丟棄算法，用算法來評估那些KV Cache是沒用的廢話，評估后直接刪掉。或者用壓縮技術，把原來的16位浮點數采用INT8甚至INT4量化技術來存儲KV Cache，相當于把高清圖片壓縮成馬賽克圖片，只要模型還能勉強認出馬賽克的內容（保證精度不崩），KV Cache的容量就能縮小到原來的1/2到1/4。

這種方法是大模型企業正在做的，但KV Cache的壓縮空間始終是有限的，AI Agentic滲透率提高后指數級的增長卻是無限的，因此這種方法是必須的，但同時也是作用有限的。

第三種方法，把新的KV Cache裝在HBM里，把舊的KV Cache裝在DDR5里，把更舊的KV Cache裝在企業級SSD里，等到大模型需要回憶這些舊的KV Cache時，GPU再從DDR5或SSD里讀取。

相比于HBM，DDR5和企業級SSD的容量非常非常大，且價格也便宜很多很，看起來幾乎可以完美解決KV Cache裝不下的問題。

但這種方法也面臨著一些問題，因為GPU和其他硬件之間沒有類似于NVLink這樣的高速互聯技術，GPU要和其他硬件進行傳輸，只能通過PCIe（Peripheral Component Interconnect Express）。

簡單來說，PCIe是AI服務器內部的一條公路系統，除了GPU和GPU之間通過NVLink高速互聯不用經過PCIe外，其他所有的各種數據（指令、圖像、文件等）都要通過PCIe在各個硬件之間傳輸，如GPU和CPU之間便通過PCIe傳輸。

圖片說明：PCIe在AI服務器內的作用是連接“異構部件”，如連接CPU與GPU、連接GPU與網卡等，數據來源于超擎數智

問題在于，在PCIe總線協議之下，GPU不能直接調用DDR5里的數據，一定要CPU先把數據從DDR5里復制出來，然后通過PCIe總線粘貼到HBM里，最后再由GPU調用。而SSD的路徑就更長，CPU先將數據從SSD里復制出來，通過PCIe總線粘貼到DDR5里，然后重復上面的過程，最后由GPU進行計算。

這樣一來一去，是非常低效的，一方面由于可能不止一次經過CPU及復雜的樹狀拓撲，就會導致延遲；另一方面，PCIe的帶寬相比于NVLink的帶寬，就不是一個數量級的，這會進一步增加延遲。

延遲的后果是顯而易見的：由于運力不足，GPU將經常處于閑置狀態，因為大部分時間都在等數據運輸過來。

圖片說明：PCIe與NVLink比較，數據來源于博客園

CXL是什么？解決了什么問題？

CXL（Compute Express Link），是一種開放性的、行業標準的、高帶寬及低延遲的互連協議，CXL建立在PCIe物理接口之上（這意味著不用重新設計AI服務器主板的PCIe插槽），但解決了PCIe解決不了的核心痛點。

CXL包含了三個極其關鍵的子協議：

第一個是CXL.io（配置與控制）：相當于傳統的PCIe，負責設備的發現、連接、報錯、配置等基礎工作。

第二個是CXL.cache（緩存一致性）：允許GPU直接訪問CPU的DDR5內存條，GPU可以直接在原地讀取并處理CPU內存里的數據，GPU和CPU看到的都是同一份數據的最新狀態（緩存一致性），徹底消滅了復制粘貼、搬來搬去的動作。由于CPU、GPU、ASIC可以圍繞著同一個“CXL內存池”協同工作，所有數據被共享，誰需要算誰就算，整個機架上的所有芯片，在邏輯上變成了一臺“超級計算機”。

第三個是CXL.mem（內存擴展）：允許CPU直接把外接設備（如CXL內存模塊）當作自己的原生內存來使用，進而意味著CPU不再受限于主板上的DDR5插槽數量限制，可以通過CXL接口無限外接內存。CPU通過CXL協議，會把這個外接的內存當成DDR5一樣使用，系統內存容量瞬間翻倍，而且帶寬也大幅增加。

圖片說明：CXL.io、CXL.cache、CXL.mem三種協議的調用方式，數據來源于Synopsys（新思科技）

簡單來說，CXL最具革命性的能力（在CXL 2.0階段實現，目前已進入CXL 3.1階段），是內存池化與動態共享（Memory Pooling & Sharing），由此徹底消滅了內存浪費的問題，根據CXL官方文件，AI數據中心的內存利用率可因此從40%上升到80%，省下了海量的采購成本。

以下圖為例，CXL 2.0 Switch上面是多個GPU、下面是多個存儲芯片，左圖GPU H1正在調用D2和D3的數據，右圖GPU H1正在調用D1、D2、D4的數據，同時D2的數據也正被GPU H3調用。

圖片說明：CXL內存池化的示意圖，數據來源于CXL官網

總的來說，CXL不僅僅是一個基于PCIe的新協議，甚至可以說是AI服務器在底層架構上的一次重構，它把過去“以GPU為中心、各自為戰”的服務器，變成了“以數據和內存為中心、高度池化共享”的新型算力架構。或許這是為什么在AI推理算力爆發的今天，芯片巨頭們（英偉達、三星、瀾起科技、Astera Labs、阿里、華為等等）都在押注CXL的原因吧。

圖片說明：CXL協議成員，數據來源于CXL官網