號稱1200萬token上下文的模型來了，數據亮眼但疑點重重

當地時間 5 月 5 日，邁阿密一家名為 Subquadratic 的公司走出隱身模式。CTO Alexander Whedon 在 X 上把首款模型 SubQ 稱作“a major breakthrough in LLM intelligence”（LLM 智能領域的重大突破），聲稱這是首個完全基于次平方稀疏注意力（Subquadratic Sparse Attention，SSA）架構的前沿模型，1,200 萬 token 上下文，1M token 場景下比 FlashAttention 快 52 倍，成本不到 Claude Opus 的 5％。同日宣布完成 2,900 萬美元種子輪，估值 5 億美元。

融資由 Tinder 聯合創始人 Justin Mateen 旗下 JAM Fund 與前軟銀愿景基金合伙人 Javier Villamizar 領投，參投方包括 Anthropic、OpenAI、Stripe、Brex 的早期投資人。CEO Justin Dangel 是連續創業者，履歷集中在健康科技、保險科技和消費品。

CTO Alex Whedon 此前在 Meta 擔任軟件工程師，之后在咨詢公司 TribeAI 出任 Head of Generative AI。官網稱團隊還有 11 名來自 Meta、Google、牛津、劍橋、字節跳動、Adobe的 PhD，姓名未公開。

圖丨相關推文（來源：X）

按官方文檔，SubQ 要解決的是 Transformer 最根深蒂固的那道天花板：注意力機制的算力消耗隨上下文長度呈平方級增長，序列翻一倍，算力翻四倍。

Subquadratic 把這種 dense attention 視作根本性的成本瓶頸，自家方案命名為 SSA。其核心機制按報告原文是 content－dependent selection，對每個 query，模型選出“值得 attend 的位置”，只對那些位置做精確的 attention 計算。博文同時把 SSA 總結為三項獨有優勢：在計算和內存上都是線性擴展、內容相關的路由、可以從任意位置稀疏檢索。

圖丨注意力計算量（來源：Subquadratic）

據官方披露，在 B200 GPU 上對比 FlashAttention－2，128K token 時 SubQ 快 7.2 倍，256K 時 13.2 倍，512K 時 23 倍，到 1M token 時拉到 52.2 倍。按官方推算，序列長到 12M token 時，注意力計算量比標準 dense attention 減少近 1,000 倍。

Benchmark 也直接對位主流前沿模型。RULER 128K 長上下文測試上 SubQ 拿到 95.0％，與 Claude Opus 4.6 的 94.8％ 幾乎打平。SWE－Bench Verified 上 81.8％，超過 Opus 4.6 的 80.8％ 和 Gemini 3.1 Pro 的 80.6％。

在考察長上下文多源證據檢索整合能力、也是最關鍵的 MRCR v2 上，SubQ 同時報了兩個分數，研究版 83，第三方驗證的生產版 65.9。同項目下 Claude Opus 4.7 是 32.2，Gemini 3.1 Pro 26.3，GPT 5.5 74.0。

如此逆天的數據自然引發了大量關注，質疑也隨之而來。

前 OpenAI Sora 團隊成員、AI 工程師 Will Depue 第一時間發出質疑：SubQ 幾乎可以肯定是對 Kimi 或 DeepSeek 稀疏注意力（sparse attention）的微調。Whedon 幾個小時后的帖子部分證實了這一推測，公司確實將開源模型的權重作為起點，“這是基于我們目前的資金規模和公司發展階段做出的選擇”。

圖丨相關推文（來源：X）

但回看此前的相關研究，Kimi Linear 實際是混合結構，3/4 的層用線性注意力，剩下 1/4 仍然用平方復雜度的 MLA，Kimi 自己在論文里就承認純線性版本 “在精確記憶檢索和精確復制上仍然吃力”，所以沒有用在所有層。

DeepSeek Sparse Attention 內部負責篩選 token 的 lightning indexer 自身仍是 O（n2），只是常數因子比 MLA 小一個數量級，復雜度被搬了位置而已。Mamba 和 RWKV 在 FLOP 層面確實做到了線性，但在前沿規模下游任務上跑不過標準注意力，至今沒有任何前沿 LLM 單獨使用它們。

如果 SubQ 把權重起點放在這些已經被業界明確畫出復雜度邊界的方案上，又是怎么在它們的基礎上做出“減少 1,000 倍計算量”這種數量級躍升的？

清華大學交叉信息研究院博士游嘉誠也在 X 上提到，Subquadratic 所宣稱的計算和內存上都是線性擴展這個特性實際上并不是 SSA 獨有。dense attention 配合 FlashAttention 早已做到線性內存，這是業界幾年前就普及的標配，SubQ 卻依然把它單列為 SSA 三大獨有優勢之一來宣傳。

按照官方博文的說法，SSA 的核心不是對 attention 做近似，而是不再假設每一對 token 都可能重要，把計算只限制在真正承載信號的位置上，跳過其余。

那么問題來了，模型如何在跑 attention 之前知道哪些位置承載信號？這本身是個循環：要判斷某個 token 沒有信號，就必須先把它和當前 query 比較一次，而比較本身的代價正是 quadratic 的全部來源。

Will Depue 用 phonebook eval 解釋了這件事。phonebook 是衡量長上下文檢索能力的一種基準，給模型一份 10 萬人的電話簿，再問其中某個特定姓名的電話。模型不知道未來會被問到哪個姓名，理論上必須保留所有姓名在 context 里。任何 “提前丟棄信息” 的策略，在這個 eval 上都會失分。

博文里沒有解釋 SSA 的 selection 機制如何解決這個循環。一種可能是 SSA 內部有一個輕量 indexer 做評分（類似 DSA），但 selector 自身仍是 O（n2），復雜度只是被搬了位置。另一種可能是 selector 使用某種 learned gating，從訓練數據中學到哪些位置值得保留，但這種方案在 phonebook 這類 “信息位置完全不可預測” 的任務上幾乎注定失敗。

報告稱，訓練數據特意選用“信息密度高、交叉引用結構豐富的長文本”，因為這類數據“會迫使 selection 機制學會跨越大跨度位置做路由”。這相當于承認 selection 機制是被訓練出來的，而不是從 attention 矩陣動態推導出來的。一旦 selection 是 learned gating，長上下文檢索的可靠性就被鎖死在訓練數據的分布里：訓練數據里見過的位置和模式，模型能找到；分布之外的，比如 phonebook 這種全然隨機的查詢，模型只能賭。

官方公布的 benchmark 同樣疑點重重。最大賣點 12M token 并沒有完整 benchmark，所有 RULER、MRCR v2、SWE－Bench 的成績都來自 1M－Preview 版本，“12M token 上的研究結果” 對應的只是一個 92.1％ 的 needle－in－a－haystack 分數，而這是長上下文測試里最簡單的一種，只考察模型能否在大堆 token 里找到一根特定的針，不評估多跳檢索或證據整合。

但它是不是騙局終究還無法實錘。Subquadratic 尚未公布詳細模型卡，目前只能通過申請小范圍內測來試用，獨立基準測試結果也還沒有出來。

不過說起來，類似的劇本兩年前剛上演過一次。

2024 年 8 月，舊金山公司 Magic.dev 發布 LTM－2－mini，宣稱 1 億 token 上下文窗口、相對標準注意力 1,000 倍效率優勢，憑這一發布累計融資超過 5 億美元。到 2026 年初，沒有任何 Magic 之外的開發者或企業公開使用 LTM－2－mini 的記錄，技術報告沒出，模型沒開源，benchmark 也沒有第三方復現。

SubQ 的發布材料和 Magic 當年高度同構，同樣的 1,000 倍效率，同樣 “打破 Transformer 平方律” 的敘事，同樣不開源，同樣把完整技術細節推遲到 “完整模型卡片即將公布”。差別是 SubQ 這次一上來就奔著商業化產品去（API、CLI agent、搜索），而 Magic 當年還停留在研究 demo 階段。

因此，它的成色究竟如何，或許能比 Magic.dev 更快見分曉。

參考資料：

1.https://subq.ai/introducing-subq

2.https://venturebeat.com/technology/miami-startup-subquadratic-claims-1-000x-ai-efficiency-gain-with-subq-model-researchers-demand-independent-proof

3.https://x.com/willdepue/status/2051734355509235734

運營/排版：何晨龍

注：封面/首圖由 AI 輔助生成