【梁文鋒署名】DeepSeek新論文：所有人都覺得沒必要改的東西，他們改了

2025年的最后一天，DeepSeek又發論文了。

過去一年，很多人都在問同一個問題：DeepSeek為什么能用更少的錢，做出更強的模型？

答案當然不止一個。但這篇論文透露了其中一個思路：去優化那些所有人都覺得"已經是最優解"的東西。

這次他們動的是殘差連接——一個深度學習領域用了十年、幾乎沒人質疑過的基礎設計。

論文名字有點硬核：mHC（Manifold-Constrained Hyper-Connections），翻譯過來就是"流形約束的超連接"。但核心思想其實不復雜，今天試著用人話講清楚。

先說背景：殘差連接統治了深度學習十年

經常訓練大模型的朋友，一定聽過"殘差連接"（Residual Connection）這個詞。

2015年，何愷明團隊提出ResNet，核心創新就是這個殘差連接。簡單說就是：每一層的輸出 = 這一層學到的東西 + 上一層的輸入。

用公式表示：

x_{l+1} = x_l + F(x_l)

這個設計看起來簡單，但解決了一個大問題：網絡太深就訓不動。

為什么？因為梯度消失。信號在幾十上百層網絡里傳遞，越傳越弱，最后弱到模型根本學不到東西。

殘差連接的妙處在于：它給信號開了一條"快車道"。不管中間那些層學到了什么，原始信號都能直接傳到后面。這就是所謂的恒等映射（Identity Mapping）——淺層的信息可以原封不動地傳到深層。

從2015年到現在，不管是GPT、LLaMA還是Gemini，幾乎所有大模型都在用這個設計。十年了，沒人動過它。

DeepSeek的第一次嘗試：Hyper-Connections

2024年9月，DeepSeek發了一篇論文，提出了Hyper-Connections（HC），第一次對殘差連接動刀。

核心思想是：既然殘差連接的權重是固定的（1:1），為什么不讓模型自己學習最優的連接方式？

HC做了兩件事：

1. 把殘差流從1條擴展到n條（通常n=4）

2. 引入可學習的連接矩陣，讓模型自己決定怎么混合這些信號

效果確實好。論文數據顯示：

• 訓練收斂速度提升1.8倍

• ARC-Challenge任務提升6個百分點

這個提升挺猛的。但HC有一個致命缺陷——訓練不穩定。

HC的問題：信號放大了3000倍

這是論文里最直觀的一張圖。

看左邊那條藍線（HC），在第12000步左右，損失突然飆升。這對大規模訓練來說是致命的——你可能已經燒了幾百萬的算力，結果模型突然崩了。

為什么會這樣？

論文里有詳細分析。核心原因是：HC破壞了恒等映射的特性。

還記得殘差連接的公式嗎？x_{l+1} = x_l + F(x_l)。這里的x_l是"1倍"傳遞到下一層的。但HC引入了可學習的權重矩陣H，信號傳遞變成了：

x_{l+1} = H * x_l + ...

問題來了：H是可學習的，沒有任何約束。

當網絡有60層時，信號要經過60個H矩陣的連乘。如果每個H的"放大倍數"稍微大于1，連乘60次會發生什么？

指數爆炸。

論文測量了這個"放大倍數"（Amax Gain Magnitude）。理想情況下應該是1（信號不放大也不縮小）。但HC在27B模型上的實測結果是——

峰值達到3000。

信號被放大了3000倍，梯度也被放大了3000倍。難怪訓練會崩。

mHC的解法：雙隨機矩陣

現在問題清楚了：H矩陣太"自由"了，沒有約束，所以會亂來。

那怎么約束它？

最簡單的方法是讓H = I（單位矩陣），這樣就退化回原始的殘差連接了。但這樣就失去了HC的性能優勢。

DeepSeek的解法很優雅：把H約束在"雙隨機矩陣"上。

什么是雙隨機矩陣？簡單說就是滿足兩個條件的矩陣：

1. 所有元素都 ≥ 0

2. 每行之和 = 1，每列之和 = 1

舉個例子，這是一個2×2的雙隨機矩陣：

[0.3, 0.7]
[0.7, 0.3]

每行加起來是1，每列加起來也是1。

為什么這個約束有效？

因為雙隨機矩陣做的事情本質上是"加權平均"。

當你用雙隨機矩陣乘以一個向量時，結果向量的每個元素都是輸入向量的凸組合（加權平均）。加權平均有一個天然的性質：結果不會超出輸入的范圍。

這就從數學上保證了信號不會爆炸。

更妙的是，雙隨機矩陣還有一個"封閉性"：兩個雙隨機矩陣相乘，結果還是雙隨機矩陣。

這意味著不管網絡有多深，60層、100層、1000層，信號經過多少個H矩陣的連乘，結果仍然是一個雙隨機矩陣，仍然滿足"不會爆炸"的性質。

論文用了一個算法叫Sinkhorn-Knopp來做這個投影。具體細節不展開了，核心就是迭代地調整矩陣的行和列，讓它們都歸一化到和為1。

效果：穩定性提升三個數量級

mHC的效果怎么樣？

先看穩定性。同樣是27B模型，同樣的訓練配置：

指標

HC

mHC

Amax Gain峰值

3000

1.6

從3000降到1.6，降低了三個數量級。說實話，看到這個數字的時候我愣了一下——這個改進幅度有點離譜。

訓練曲線也變得平滑了，再也沒有那個可怕的"損失飆升"。

再看性能。mHC不僅比原始的殘差連接強，甚至比不穩定的HC還要強：

Benchmark

Baseline

HC

mHC

BBH

43.8

48.9

51.0

DROP

47.0

51.6

53.9

GSM8K

46.7

53.2

53.8

MMLU

59.0

63.0

63.4

mHC在大多數任務上都比HC更好，特別是推理任務（BBH +2.1%，DROP +2.3%）。

穩定性提升了，性能也提升了。那代價呢？

只增加了6.7%的訓練時間。

這個數字挺關鍵的。HC雖然不增加FLOPs（浮點運算量），但因為擴展了殘差流寬度，內存訪問成本大幅增加。DeepSeek在論文里花了大量篇幅講基礎設施優化——內核融合、選擇性重計算、通信重疊——才把開銷控制在這個水平。

為什么這個方法優雅？

讀完這篇論文，我覺得mHC的設計挺漂亮的，主要體現在三個地方：

1. 問題定義精準

很多研究會籠統地說"訓練不穩定"，但DeepSeek精確地定位到了問題根源：恒等映射特性的喪失導致信號在多層傳播時爆炸。有了這個精準定義，解決方案才能有的放矢。

2. 解決方案有數學保證

雙隨機矩陣不是拍腦袋想出來的，而是有嚴格的數學性質支撐：

• 譜范數 ≤ 1（不會放大信號）

• 組合封閉性（多層仍然穩定）

• Birkhoff多面體的幾何解釋（是所有置換矩陣的凸組合）

這種有數學保證的方法，比"試了一百種trick發現這個work"要可靠得多。

3. 工程和理論并重

很多論文只講理論創新，對工程實現一筆帶過。但DeepSeek的論文花了相當篇幅講基礎設施優化：怎么融合內核、怎么減少內存占用、怎么和DualPipe調度配合。這才是能真正落地的研究。

往大了說：DeepSeek在找什么？

回到開頭的問題：DeepSeek為什么能用更少的錢做出更強的模型？

這篇論文給出了一個側面的答案：他們在找那些"所有人都覺得已經是最優解"的東西，然后證明它不是。

過去十年，大模型的架構創新主要集中在"微觀設計"——Attention怎么改、FFN怎么改、位置編碼怎么改。但殘差連接？從2015年到現在，幾乎原封不動。大家默認它沒什么可優化的了。

mHC證明了這個假設是錯的。

更重要的是，這種優化的特點是：不增加計算量，只改變信息流動的方式。同樣的FLOPs，更好的效果。

這可能就是DeepSeek的技術哲學之一：不是比誰燒的錢多，而是比誰能在同樣的資源下榨取更多性能。

當然，mHC還解決了一個實際問題：讓HC能穩定訓練。HC本身是個好方法，但因為不穩定沒法用。mHC修復了這個缺陷，讓這條架構創新的路能走下去。

論文最后一句話說得挺直接的：

"我們希望mHC能重新激發社區對宏觀架構設計的興趣。"

翻譯一下：過去大家都在卷Attention、卷FFN、卷MoE。現在DeepSeek說，層與層之間怎么連接，這塊也有金礦。

最后

這篇論文給我最大的啟發是：當你發現一個方法有效但不穩定時，不要放棄，而是去找約束條件。

雙隨機矩陣就是這樣一個約束——它保留了HC的表達能力（可學習的連接權重），同時通過數學性質保證了穩定性（加權平均不會爆炸）。在自由和約束之間找平衡，這個思路可能在很多領域都適用。

回到開頭的問題：DeepSeek為什么能做到別人做不到的事？

這篇論文給出的答案是：去質疑那些"所有人都覺得沒必要改"的東西。殘差連接用了十年，不代表它是最優解。

2025年最后一天發這篇論文，DeepSeek給2026年開了個好頭。

參考資料：

• mHC論文：https://arxiv.org/abs/2512.24880

• Hyper-Connections論文：https://arxiv.org/abs/2409.19606

• DeepSeek-V3技術報告：https://arxiv.org/abs/2412.19437

@Deepseek 用我奶奶也能懂的方式，用100字解釋下這篇論文。

奶奶，你想啊，AI訓練就像帶熊孩子。 以前的規矩是：拉著手走，一步都不許亂動。安全，但孩子啥也學不會。 后來有人說：放開讓他跑吧。結果跑著跑著就跑丟了。 DeepSeek的辦法：讓孩子自己跑，但只能在圍欄里跑。怎么跑都行，反正跑不出去。 給自由畫個圈，這就是mHC。