在語言大模型開發領域存在一個“文鋒定理”或“文鋒效應”。deepSeek創始人梁文峰沒有將團隊依從的技術路徑稱之為“Σ定理”,但從新科技哲學效用論的視角看來,幻化量方團隊用少量的GPU開發了deepSeek,與OpenAI團隊用大量GPU開發的ChatGPT擁有同樣甚至更強的語言智能或智能語言功能。同樣的效能即是等效能原理,梁之峰團隊的“開發者說”證實了新科技哲學基本原理的“一個案例”、“一個樣本”,可以認定文鋒定律、文鋒效應或“Σ定律”成立。
可用“裝修新房”來通俗地解釋梁文峰團隊的技術路徑,別的裝修隊“堆材料、堆人手”,梁文峰團隊重新設計施工方案,少用一半的材料和人工,裝出了同樣甚至更好的圖樣。DeepSeek是從幻化量方拆分的國內語言大模型團隊,量化投資出身的梁文鋒,天生就對算力成本敏感,團隊成員都是國內頂尖高校培養的年輕技術人才。高端GPU進口受限,團隊被逼著走出一條和OpenAI完全不一樣的技術路徑。
只用兩千多塊中端GPU,花費五百多萬美元,梁文鋒團隊就做成了OpenAI花一億美元才能做成的事,打破了大模型靠堆海量GPU的固有模式,技術優化的秘訣就是四個“擠水分”:一是給內存“擠水分”。大模型處理長文本,就像裝修時要把所有材料都堆在施工現場,占滿場地。梁文峰團隊自研MLA技術,將所有材料寫進一張“清單小紙條”,需要時按清單調貨,原來需要7塊GPU才能裝下內容,現在一塊就夠了,內存占用從500多KB減到70KB。
二是給計算“擠水分”。國外大模型就像裝修,不管裝什么地方,所有工人都一起上,哪怕只是裝一個螺絲,水電工木工瓦工都來,人力浪費極大。梁文峰團隊使用MoE混合專家架構,相當于給裝修工分組,裝門有木工,貼磚有瓦工,每次只喊對口的裝修工干活。DeepSeek-V3總有671億“工人”或參數,每次干活只需37億工人上陣,每次只出1/18的人力,就能把活干好,算力消耗降到了原來的十分之一。
三是給精度“擠水分”。以前訓練大模型用16位精度存數據,就像裝修買材料,邊角料都按整塊整箱買。梁文峰團隊使用FP8低精度訓練,通過分裝打包方式,材料不漏不錯,最終精度損失不到0.25%,幾乎沒人能感覺到差別,內存占用減半。四是給通信“擠水分”。工人不用等材料送到再開工,等待時間從35%降到18%,GPU整體效率從65%上升到80%以上。
在芯片研發領域存在一個“庭波定理”或“庭波效應”,華為半導體業務部總裁何庭波將團隊依從的技術路徑稱為“τ定理”。從新科技哲學效用論的視角看來,何庭波團隊不是把芯片改進押注在“晶體管變小”上,而是轉向“壓縮時間”或通過器件、電路、芯片和多層系統優化,減少信號和數據的移動時間。同樣的效能即是等效能原理,何庭波團隊的“開發者說”證實了新科技哲學基本原理的“一個案例”、“一個樣本”,可以認定庭波定律、庭波效應或“τ定律”成立。
可用城市交通做比喻,傳統摩爾定律依靠“拓寬馬路、增加車道”,也就是不斷縮小晶體管尺寸,在單位面積上塞下更多元器件,以“空間擴容”換提速。隨著車道越來越窄,再窄就要擠垮路面,不僅修馬路的成本指數級飆升,而且遇到“物理天花板”,也就是微觀物理學的量子隧穿效應。“韜定律”給華為人換了個思路,不再拓寬馬路,通過重新規劃城市路網、修建立交橋、調度紅綠燈,讓車輛跑得更快。
用“時間縮微”替代“幾何縮微”,不是單純縮小晶體管尺寸,而是壓縮信號傳輸時間,這里的τ即是電路里的“時間常數”,代表信號從一個狀態切換到另一個狀態、從一個模塊跑到另一個模塊所需的時間,τ越小,信號跑得越快,芯片性能越強。韜定律把原來“比誰的晶體管更小”,變成了“比誰的信號跑得更快”,重新定義了芯片改進的底層邏輯,核心技術則是“折疊效應”,而替換效應和疊加效應在新科學哲學中多有論及。
以往的芯片是一層平鋪的“單層街”,信號要繞很遠才能到目的地,“折疊效應”就像把單層街折成立體的“多層樓”,把原來長距離橫向走的關鍵路徑進行縱向折疊,走線長度從毫米級縮到微米級,從而節省了信號時間。“摩爾定律”強調器件尺寸的縮小,韜定律突出全鏈路優化。“韜定律”沒有停留在論文或理論層面,已多次完成了工程驗證,過去六年,華為基于這套方法論量產了381款芯片,覆蓋手機、AI、汽車和工業控制等多個領域。
今年秋季,華為即將發布新一代麒麟芯片,首款采用折疊技術研發的旗艦手機芯片,不升級制程、不需要EUV光刻機,這顆芯片的晶體管密度比傳統二維設計提升了53.5%,達到238MTr/mm2,追平了早期3nm制程的密度水平。目前的韜定律面臨多層堆疊散熱的難題,距離2031年達到1.4nm制程等效密度的目標,預計還有五年的研發路程要走。τ定律證明:在摩爾定律的盡頭,通過系統創新還能提升芯片性能。
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.