編輯｜+0

一個約 1B 參數的模型，在 MATH 上拿到 56.2，在 GSM8K 上拿到 84.5，在 ARC-Challenge 上拿到 81.9。訓練成本約 1500 美元，16 塊 H100 跑了不到兩天。

這是 Sapient Intelligence 于 2026 年 5 月 18 日發布的HRM-Text，團隊同步開放了論文、模型權重和預訓練代碼。

如果只看這些數字，最直覺的反應可能是：這是不是某種微調的結果？站在巨人的肩膀上，當然省力。

但 HRM-Text 不是。它從零開始預訓練，只使用了約 40B unique tokens（考慮重復采樣后，實驗表中的總訓練量記為約 60B tokens），大約是 Llama 3.2 3B（9T tokens）訓練量的 1/225，Qwen3.5 2B（36T tokens）的 1/900。

HRM-Text 與其他模型在訓練 FLOPs、訓練 tokens 和 benchmark 上的對比。

問題自然就來了：怎么做到的？

過去幾年，大模型行業形成了一套近乎默認的增長邏輯：模型更大、數據更多、算力更強，智能能力就會繼續提升。

這條路線已經被充分證明有效。GPT、Claude、DeepSeek、Qwen 等模型的持續演進，都離不開參數規模、數據規模和訓練算力的擴張。但與此同時，基礎模型訓練也越來越像一項重工業：更長的訓練周期、更昂貴的 GPU 集群、更復雜的數據工程，以及越來越高的入場門檻。

但 HRM-Text 想嘗試另一種思路：在有限數據和有限算力下，能否通過架構與訓練目標的共同設計，提高每一次計算的產出？

論文標題已經直接給出了它試圖挑戰的方向：Efficient Pretraining Beyond Scaling。

• 論文標題：HRM-Text: Efficient Pretraining Beyond Scaling
• 論文地址：https://arxiv.org/abs/2605.20613
• GitHub：https://github.com/sapientinc/HRM-Text
• Hugging Face：https://huggingface.co/sapientinc/HRM-Text-1B
• X Launch post：https://x.com/Sapient_Int/status/2056510383935172798

簡單來說，HRM-Text 同時調整了模型「怎么算」和「學什么」：一方面，讓有限參數在輸出前進行多輪內部計算，提高有效計算深度；另一方面，只對回答部分計算損失，把訓練信號更集中地用于任務理解和答案生成。

需要注意的是，HRM-Text 并不是一個已經完成 post-training 或強化學習優化的成熟聊天模型。團隊將當前版本定義為一個 Proof of Concept：它的價值不在于找到語言模型的最終形態，而是提供一個可以被檢驗的案例，說明基礎模型預訓練的效率仍然存在很大的架構創新空間。

一次輸出之前，先完成多輪內部計算

HRM-Text 的第一項變化，是重新組織模型內部的計算過程。

標準 Transformer 通常由一系列參數彼此獨立的網絡層構成。輸入沿著模型深度向前傳播：經過第一層，再進入第二層，依次向下，最終得到輸出。增加模型能力的一種直接辦法，就是堆疊更多層、增加隱藏維度，或者訓練更多參數。

HRM-Text 沒有簡單沿用這條路線。它引入了兩個以不同時間尺度運行的模塊：高層模塊 H 和低層模塊 L。

如果用一個更直觀的類比，標準 Transformer 更像是把一份材料依次交給多位不同的編輯，每個人修改一次后繼續向下傳遞；HRM-Text 則更像是讓兩組編輯反復修改同一份內部草稿。模型不是單純增加更多參數，而是讓有限參數參與更深的有效計算。

根據團隊采訪解釋，這種設計也不同于行業內常見的「大小腦」協同方案。后者通常分別訓練兩個不同規模的模型，再讓大模型負責復雜規劃、小模型負責快速執行，模型之間主要依靠文本接口交換信息。

HRM 的 H 和 L 則屬于同一個網絡。它們不是兩個獨立模型，也不是通過文本空間交接任務，而是在同一個潛空間中反復迭代同一份內部狀態。模塊間傳遞什么信息、如何分工，由統一的優化過程共同決定。

更準確地說，HRM 不是在模型外部拼接一個規劃器和一個執行器，而是將分層計算內建進單個模型。

低層模塊更新得更快，承擔局部計算和迭代修正；高層模塊更新得更慢，維持更穩定的語義上下文，并為低層計算提供更長期的約束。按照論文中的設定，每次前向傳播會執行兩個高層周期。每個周期先完成三次 L 模塊更新，再完成一次 H 模塊更新。

也就是說，在預測一個 token 之前，模型會完成 8 次遞歸更新：6 次低層更新和 2 次高層更新。

H/L 雙時間尺度遞歸結構、模塊內部結構和 PrefixLM 注意力掩碼。

這里需要強調的是，「多輪內部計算」并不意味著模型已經能夠根據題目難度動態調整思考時間。當前版本采用固定遞歸日程：無論任務簡單還是復雜，模型都會按照預設次數執行內部更新。自適應計算時間會是后續探索方向。

這也意味著，1B 參數并不等于它的推理成本與普通 1B dense Transformer 完全相同。遞歸調用提高了參數利用率，但也增加了每個 token 輸出前的串行計算量。因此，參數規模、訓練成本和實際推理效率仍需分別討論。

這條路線并非沒有代價。

內部循環越深，模型越有機會持續修正自己的表征；但同一組模塊被反復調用后，激活值方差可能不斷累積，梯度也更容易消失或爆炸。遞歸架構并不是新概念，真正困難的是如何讓深層遞歸在開放域語言任務中穩定訓練。

HRM-Text 為此引入了兩項設計：MagicNormwarmup deep credit assignment。

MagicNorm 的目標，是同時兼顧前向傳播和反向傳播的穩定性。模塊內部仍然保留有利于梯度流動的 PreNorm 結構，但在每輪遞歸模塊退出時，再額外加入一次歸一化。這樣既能限制激活值在反復循環中的方差增長，也盡量保留順暢的梯度路徑。

warmup deep credit assignment 則控制梯度需要向前追溯多遠。訓練剛開始時，模型只對最后兩個遞歸步驟進行梯度回傳；隨著訓練逐漸穩定，回傳范圍再線性增加到最后五個步驟。

可以把它理解為一種循序漸進的「追責機制」：訓練早期，先讓模型為距離輸出最近的幾步內部計算負責；穩定之后，再逐步讓更早的計算過程承擔責任。這樣既能夠利用更深的遞歸計算，也可以避免模型從一開始就暴露在過長的梯度路徑中。

論文還從有效深度的角度分析了這套結構。

在標準 Transformer 或部分 looped Transformer 中，隨著層數增加，后續層對隱藏狀態的改變可能逐漸減弱，模型很早就趨向一個相對穩定的輸出分布。HRM-Text 的分析則顯示，其深層計算仍然保持較明顯的表征變化。這意味著遞歸步驟并不只是重復運行，還在持續修改內部狀態，較深的計算步驟依然能夠帶來增量信息。

不同架構的 Effective Depth 對比。

少預測一些，把訓練信號集中到回答上

架構變化之外，HRM-Text 的第二項改動發生在預訓練目標上。

大多數語言模型采用自回歸的「下一個 token 預測」：給定一段文本，預測下一個 token。無論輸入是網頁、書籍、論壇回復還是代碼，模型都要學習接續序列中的每一個位置。這套目標足夠通用，但也意味著，大量訓練信號會被用于預測和任務完成關系不大的文本。

HRM-Text 選擇了一條更有針對性的路線：它省略了大規模原始文本預訓練階段，直接使用「指令——回答」數據對從零開始訓練。給定一條指令和對應回答，模型只對回答部分計算 token 級損失。

這并不意味著指令部分完全不參與學習。回答損失依然會沿著注意力路徑影響模型如何理解和使用指令。但模型不再承擔「預測問題本身」的任務，而是將更新信號更集中地用于生成合適的答案。

如果用一個更直觀的類比：老師批改試卷時，不再給「抄題」打分，只評價答題部分。

與「僅回答目標」配套的是 PrefixLM mask。在標準 causal mask 中，每個 token 只能看到自己之前的內容。這種設計適合從左到右生成，但對于已經完整給出的指令而言，限制并非必要。

HRM-Text 允許指令部分的 token 彼此雙向可見；進入回答部分后，再恢復標準的因果生成方式。

于是，模型可以先把整段指令作為完整上下文進行整合，再逐步生成答案。在僅解碼器的實現中，它獲得了一種近似編碼器——解碼器的分工：指令側更像編碼，回答側更像解碼。

論文的注意力分析顯示，相較于純 causal mask，PrefixLM 帶來了更高的注意力熵，注意力模式也更加全局和多樣。它并不只是改變了一張 mask，而是在提升模型利用指令信息的方式。

僅對回答計算損失、PrefixLM 注意力掩碼和注意力分布的差異。

這幾項設計的效果，可以從消融實驗中看得比較清楚。

在相同訓練 FLOPs 條件下，研究團隊依次加入「僅預測回答」、PrefixLM 和 HRM 架構，并觀察模型表現如何變化。

以 ARC-Challenge 為例，1B Transformer 使用全序列預測和 causal mask 時，得分為 51.91；改成僅預測回答后，提高到 62.88；加入 PrefixLM 后，進一步提高到 74.32；最后換成 HRM 架構后，達到 81.91。

在 MATH 上，成績則從 35.44 依次提高到 47.04、48.36 和 56.16。GSM8K 也從 48.37 依次提高到 69.75、75.06 和 84.53。

這組結果說明，HRM-Text 的效率并非來自某一個單獨改動，而是三個方向共同作用的結果：分層遞歸架構提高有效計算深度；任務完成目標將訓練信號集中在任務完成上；PrefixLM 改善模型整合指令上下文的方式。

為確保結果可信，Sapient Intelligence 對數據污染問題進行了系統驗證。HRM-Text 僅使用公開且可追溯來源的數據進行訓練，并針對評測集進行了嚴格的數據污染分析。在最嚴格的 Clean Split 條件下，模型依然取得了與主實驗一致的優勢結果，說明性能提升并非來自測試集泄漏，而是源于模型架構本身帶來的能力提升。詳細分析見論文。

將 HRM-Text 放進更廣泛的小模型對比中，也能看到它的特點。

它在 MATH、GSM8K、DROP 和 ARC-Challenge 等偏任務執行與推理的 benchmark 上表現突出；在 MMLU 這類更依賴廣泛知識覆蓋的基準測試上，則處于有競爭力但并不領先的位置。

例如，論文列出的 Qwen3.5 2B 在 MMLU 上達到 64.5，高于 HRM-Text 的 60.7；OLMo3 7B 則達到 65.8。但在 MATH 上，HRM-Text 的 56.2 高于表格中的 Qwen3.5 2B、Llama 3.2 3B、Gemma3 4B 和 OLMo3 7B。

這種差異并不難理解。

如果訓練數據和參數規模有限，模型很難同時覆蓋足夠寬廣的事實知識。HRM-Text 更適合被理解為一個偏重任務執行與推理能力的緊湊模型，而不是一個已經覆蓋廣泛知識、完成對話對齊和工程優化的通用型產品模型。

團隊在采訪中也給出了更具體的解釋：訓練數據較少，意味著模型沒有充分覆蓋數據長尾；參數規模較小，則意味著即使模型見過部分低頻信息，也更難將其穩定保留在參數中。

論文據此提出了一個后續方向：將推理核心和知識存儲部分解耦。未來，類似 HRM-Text 的緊湊遞歸模型可以專注于計算、規劃和任務執行，而事實覆蓋則交給檢索系統、外部知識庫或可學習的記憶模塊。

團隊在采訪中表示，近期已經在「推理——知識解耦」方向上獲得了一些早期結果，但尚未披露具體實驗。

這并不意味著知識可以被簡單地從模型中剝離。外部知識如何進入多輪內部計算、檢索結果如何與潛空間狀態交互、記憶模塊如何訓練，仍然需要系統實驗。

另一方面，它也不是第一個探索遞歸計算、潛空間推理或 PrefixLM 的模型。Looped Transformer、RINS、Huginn、Ouro 等工作都在不同程度上探索過參數復用、內部循環或潛空間計算。條件生成和 PrefixLM 也已有較長研究歷史。

HRM-Text 更合適的定位是：它將分層雙時間尺度遞歸、遞歸穩定訓練方法、「僅回答目標」和 PrefixLM 組合進一個低預算從零預訓練框架中，并在 1B 規模上給出了可復現的結果。

讓 HRM 進入開放語言環境

HRM-Text 并不是 Sapient 第一次探索分層遞歸計算。

2025 年 6 月，團隊提出了 HRM（Hierarchical Reasoning Model）架構，正是前文提到的高層模塊、低層模塊、雙時間尺度計算和潛空間迭代。

• 論文標題：Hierarchical Reasoning Model
• 論文地址：https://arxiv.org/pdf/2506.21734

團隊隨后于 2025 年 7 月全面開源第一代模型 HRM-Symbolic，主要面向具有明確邊界的符號推理任務。通過分層模塊、雙時間尺度計算和潛空間推理，它在復雜數獨、迷宮尋路和 ARC-AGI 等任務中驗證了 HRM 架構處理組合搜索問題的潛力。

但這還只是第一步。

無論是數獨還是迷宮尋路，這類任務都具有相對清晰的規則、狀態空間和可驗證答案。語言模型面對的環境則更加開放：自然語言存在歧義，知識覆蓋范圍更廣，輸出形式也更加多樣。模型不僅需要完成推理，還需要理解上下文、組織語言，并在開放場景中生成合適的答案。

更重要的是，符號任務中可行的遞歸架構，并不一定能夠直接遷移到語言建模。隨著遞歸深度增加，激活值和梯度更容易失控。HRM-Text 引入 MagicNorm 和漸進式深層信用分配，正是為了讓深層遞歸能夠穩定擴展到語言模型。

如果說 HRM-Symbolic 回答的是「這條架構路線是否可行」，那么 HRM-Text 開始回答的是另一個更關鍵的問題：當任務進入開放域語言環境時，這套架構是否仍然有效？

從目前的結果來看，答案至少值得繼續探索。

值得注意的是，遞歸潛空間推理也正在獲得其他研究團隊的關注。

2026 年 5 月 19 日，圖靈獎得主 Yoshua Bengio 作為共同作者參與發布了《Generative Recursive Reasoning》。論文提出的 GRAM（Generative Recursive Reasoning Models）直接沿著 HRM 所開創的分層遞歸推理路線展開研究，在 HRM 架構基礎上進一步引入概率化多軌跡推理機制。

該工作表明，HRM 已不僅僅是一項單獨的模型創新，而正在成為下一代推理型人工智能的重要研究基礎，并持續吸引全球頂尖學者沿這一方向深入探索。

Sapient 為什么重新做一套架構

Sapient Intelligence 對 HRM 的探索，與兩位創始人此前的技術路徑有關。

Sapient 創始人王冠長期關注強化學習，曾在清華大學腦與智能實驗室、上海人工智能實驗室和小馬智行從事相關研究與工程工作，也是 OpenOrca 的核心開發者和 OpenChat 作者。聯合創始人陳威廉則有大疆創新、禾賽科技等公司的研發經歷，并曾負責清華大學科創中心的成果轉化工作。

兩人的 AGI 探索始于 2020 年。當時，大語言模型尚未展現出今天的影響力。相比單純依賴規模擴張，他們更關注另一類問題：智能系統能否像人一樣，通過與環境交互不斷積累經驗，并在有限資源下持續學習？

因此，團隊最初從強化學習切入，將主要精力投入自動駕駛和機器人等場景。隨著 GPT-3 和 ChatGPT 相繼出現，他們開始調整方向，探索強化學習與大語言模型結合的可能性。這項探索后來形成了 OpenChat。

OpenChat 的成功驗證了圍繞后訓練數據質量和訓練目標進行優化的價值，但也讓團隊開始思考一個更底層的問題：如果模型的基礎架構仍然是 Transformer，那么無論后訓練方法如何改進，能力增長是否仍會越來越依賴更多參數、更多數據和更大規模的算力集群？

對于一家創業公司而言，這不只是一個理論問題。沿著主流路線繼續前進，意味著進入一場由資本和算力主導的競賽。Sapient 最終選擇將注意力轉向底層架構：不再只優化現有模型的訓練方式，而是重新思考智能系統應該如何組織計算。

HRM 由此成為團隊的核心技術路線。

Sapient 將自己的長期方向概括為 Lean General Intelligence：不是單純追逐更大的模型，而是尋找更高效、更可及、更具泛化能力的智能系統。HRM-Symbolic 和 HRM-Text，正是這條路線上的兩個階段性結果。

HRM-Text 提供了一個有數據支撐、也可以被復現和繼續檢驗的案例：在一個通常需要海量 tokens 和龐大集群的領域，通過改變計算結構與訓練目標，一個 1B 參數模型仍然能夠以較低預算進入部分 2B 至 7B 開源模型的性能區間。

真正困難的問題可能還在后面。團隊在采訪中提到，如果未來將 HRM 擴展到更大規模，或者與 MoE、檢索系統和可學習記憶結合，遞歸架構本身的穩定性問題可能與新模塊的訓練難題進一步疊加。專家模塊應該放在網絡的什么位置、如何優化，外部知識如何進入多輪內部計算，都仍然需要系統實驗。

Scaling 之外，另一條路剛剛開始

不可否認，HRM-Text 尚未成為一條能夠全面取代 Scaling Law 的成熟路線。它的底層數據配比、真實的推理成本、向更大參數規模擴展的潛力，乃至在極其復雜的開放任務中的表現，都仍需時間的檢驗與開源社區的獨立復現。

它也不是對 Scaling 的否定。過去幾年，擴大參數、數據和算力規模，已經反復證明了自己的有效性。未來的模型進步，大概率仍然需要更高質量的數據、更充足的算力和更系統的工程投入。

但 HRM-Text 所展示的，可能不僅僅是一個新的模型架構。

如果說過去十年 AI 的主要增長軸，是參數規模、數據規模和訓練算力的持續擴張，那么 HRM 所探索的，是另一個更底層的問題：計算過程本身，能否成為新的增長軸？

標準 Transformer 的基本思路，是通過堆疊更多參數，讓模型擁有更強的表征能力。HRM 則嘗試讓有限參數在潛空間中參與多輪分層遞歸計算，使模型在輸出之前完成更深的內部狀態更新。GRAM 等后續研究進一步表明，這條路線還可以繼續向概率化、多軌跡和推理時寬度擴展。

從這個角度看，HRM-Text 的價值不只是一個約 1B 參數的模型取得了怎樣的 benchmark 成績，也不只是一次低成本預訓練實驗節省了多少 GPU 時間。

更重要的是，它提供了一個可以復現、可以比較、也可以繼續被證偽或改進的案例：除了擴大模型規模之外，重新設計計算結構，同樣可能改變性能、成本與能力之間的關系。

在一個已經被 Scaling 深刻塑造的行業中，這種可能性本身就足夠重要。因為下一代智能系統的增長，或許不僅來自更多參數、更多數據和更多算力，也來自一個更基礎的問題：模型究竟應該如何思考。