中國AI底層攻堅，高校為何是關鍵戰場？

提AI就不能不提DeepSeek，DeepSeek絕對是今年最火的話題之一，不管國內外都引起了廣泛討論。OpenAI前政策主管Jack Clark曾提到，DeepSeek吸引了一批“難以捉摸的天才”

“其實沒有什么‘難以捉摸的天才’，只是來自頂尖高校的應屆生、博士生（甚至是四五年級的實習生），以及一些有幾年經驗的年輕人。”“DeepSeek V2.0完全是由本土人才打造的。目前，全球前50的AI人才可能確實不在中國，但我們希望自己培養出這樣的團隊。”這是DeepSeek創始人梁文鋒的回答。

由衷的佩服梁文鋒這樣的企業家，好像有點扯遠了，回到AI本身，DeepSeek非常優秀，但是放到整個AI體系來看它只是一個上層的應用，如下圖所示。

可以說DeepSeek成功的背后離不開AI技術底座的創新，這包括數據、算法、算力所涉及到的訓推框架、編譯與計算框架、硬件等更底層的技術。

DeepSeek很好，但是只有DeepSeek顯然是不夠的，慶幸的是我們還是有企業去推動這些更底層的創新。推動基礎的創新并不容易，也不是一個企業就能做成的，美國的創新建立在美國發達的科技教育土壤之上的，我們也應該如此。

AI大模型的成敗在于人才、數據、算力與算法

AI大模型的成功構建依賴于幾個關鍵要素：人才（研發與應用者）、高質量數據（訓練基礎）、強大算力（計算支撐）以及先進算法（核心技術）。眾所周知，算力、算法、數據也是俗稱的AI三要素，目前需要的提升主要體現在：

• 算力：需要更多的算力，尤其是可以自主的算力；
• 算法：提升算法的效率，例如混合精度訓練、模型壓縮、量化等，與訓推框架等合作創新
• 數據：采集以及生成高質量訓練數據

我們想要AI大模型給我們提供更多的便利就需要在基礎的算力、算法和數據上有更多的創新和突破。而這些年AI大模型領域的一大變化，就是業界紛紛把目光投向了知名高校，這個天生攜帶創新基因之地，并因此在AI領域獲益匪淺。

高校是AI創新的發源地和人才的搖籃

當AI發展裹足不前時，人們赫然發現高校才是創新的源地，AI的爆發源自高校的創新，而DeepSeek的出現讓更多人認識到中國的高校同樣人才濟濟。DeepSeek創始人梁文鋒表示“DeepSeek V2.0完全是由本土人才打造的”“只是來自頂尖高校的應屆生、博士生（甚至是四五年級的實習生），以及一些有幾年經驗的年輕人。”

根據全球知名學術期刊《Nature》發布的“Nature Index Supplements 2024 AI”，可以看到在AI學術研究領域中國有19所高校進入了全球TOP100，僅次于美國，清華大學甚至進入了全球前10。

無獨有偶，據研究機構的數據（數據來源于AI頂會NeurIPS收錄的論文），2022年頂級人工智能研究機構前25名中有6家來自中國，分別是清華大學、北京大學、中科院、上海交通大學、浙江大學以及華為公司

這一項項的數據都在證明，高校是AI創新的發源地。相比企業的短期目標導向，高校鼓勵長期基礎研究（如數學、理論物理），允許“失敗”和“非功利性探索”，為顛覆性創新提供土壤。同時高校是頂尖人才聚集高地，大量教授、科研人員及全球優秀學生匯聚形成高濃度“智力池”，最典型的現象就是MIT的教授和校友中誕生了100位諾貝爾獎得主。如此高知識的密度和學術自由的氛圍，促成了一個個世界級創新成果的產生。

雖然高校的AI創新有著很多的優勢，但是也面臨很多的問題

孵化中心是解決高校AI大模型困局的良方

一棟樓能蓋多高取決于地基的堅固程度，AI發展的高度取決于AI基礎創新的能力和人才的厚度。

高校是創新的重要基地也是人才培養的基地，但是AI行業的巨大成本和投入卻成了一堵隱形的高墻。《Nature》通過對35家機構的50名科學家調查后得出結論——學術界在GPU獲取上面臨的嚴峻挑戰，甚至需要排隊申請等待數天的學校GPU集群。

“學術界與行業界的模型差距巨大，但本可以小得多。”美國華盛頓特區非營利AI研究機構EleutherAI的執行董事Stella Biderman說

算力的限制使得高校發展大模型變得異常困難，而且隨著模型規模的不斷增大，高校的創新和人才聚集優勢越來越難以得到發揮，語言大模型尚且如此，視頻大模型等更是難上加難，這對AI底層技術的優化提出了更高的要求，這是全球高校AI研究普遍遇到的問題，中國高校也不例外。

企業對于創新與AI人才的渴望，高校對于算力資源的渴望，讓校企合作成為了最佳的選擇，目前國內做得比較好的當屬華為與高校聯合創辦的鯤鵬昇騰科教創新卓越中心/孵化中心（簡稱卓越中心/孵化中心）——不僅支援了緊缺的算力資源，還提供了昇騰全流程AI基礎軟硬件技術支持及技能培訓，通過不斷與高校共同推動AI底層技術的完善和創新，賦能科研項目高效推進：

• 算力：鯤鵬昇騰科教創新卓越中心/孵化中心項目會向那些有創新有技術的高校科研團隊提供足夠的自主算力。尤其對于被列入了美國制裁名單的頂尖高校自主算力的補給可謂“雪中送炭”。
• 算法：昇騰CANN提供了開放的生態，并且在算子開發、調優方面聯合創新，部分算法如MoH、MoE與硬件規劃方案結合，可以實現更高效的計算性能和資源利用率。DeepSeek的案例也充分證明了高效利用底層能力是創新的重要途徑。

但是鯤鵬昇騰科教創新孵化中心的合作不止于此，這是一個多層次，多形式的合作，不僅可以扶持好的科研項目，還以特訓營、研討會、專業競賽（算子挑戰賽）等形式挖掘及培養人才。概括來說鯤鵬昇騰科教創新孵化中心的實踐主要體現在下面三方面：

• 改革課程體系，以科研課題、 產業課題、競賽課題驅動，培養計算產業頂尖人才
• 攻堅體系架構、計算加速能力、 算法能力、系統能力，孕育世界級的創新成果
• 創新AI+X，聯合華為+高校計算專家，共同賦能交叉學科， 引領智能化生態發展

鯤鵬昇騰科教創新孵化中心項目目前有序進展中，簽約的高校包含：

鯤鵬昇騰科教創新卓越中心：清華大學、北京大學、上海交通大學、浙江大學、中國科學技術大學；

鯤鵬昇騰科教創新孵化中心：復旦大學、哈爾濱工業大學、華中科技大學、西安交通大學、南京大學、北京航空航天大學、北京理工大學、電子科技大學、東南大學、北京郵電大學等

讓人驚訝的是鯤鵬昇騰科教創新卓越中心/孵化中心項目實施一年左右已經有行業重大影響力的項目產生了，例如清華大學KTransformers項目。

有影響力的AI成果在不斷孵化

在卓越中心提供的昇騰技術支持下，清華大學系初創團隊趨境科技研發的KTransformers異構推理框架橫空出世。此框架的驚人之處在于實現了單卡運行千億參數模型的技術突破，通過高級內核優化和布局/并行策略來增強Transformers體驗，進一步說便是通過異構計算優化和內核級加速技術來提升表現，最終大幅降低了大模型的運行成本。在如今大模型規模指數級增長的產業現狀下具備重大價值，也是底層技術架構創新的典范。

據了解，KTransformers異構協同推理技術為趨境科技業界首創，這項技術基于鯤鵬CPU與昇騰NPU的異構協同優勢，通過基于計算強度的offload策略，將計算強度較低的MoE 層參數offload 到鯤鵬CPU，將計算強度高的MLA 保持在昇騰NPU，顯存占用降低90%以上。不僅如此，還針對鯤鵬平臺做了很多深度的優化：

• NUMA親和優化，對算子進行 NUMA 親和改造，以減少跨 NUMA 的訪問和同步，以此降低訪問延遲，提升推理吞吐。
• 鯤鵬計算加速，使用了 KML 鯤鵬數學庫進行加速，算子性能提升100%；通過鯤鵬工具鏈中的畢昇編譯器編譯，性能提升50%。
• 并行計算加速，開啟 MTP（多 tokens/s 預測），大約提升 40% 的性能；采用新技術“Expert 延遲計算”，完全隱藏 NPU CPU 運行空泡，性能最高提升2倍

同時趨境科技與華為在今年5月的KADC大會上聯合發布了“鯤鵬+xPU解決方案”，并完成了兩種方案的性能調試，均實現了顯著的性能提升：

• 昇騰+鯤鵬 KTransformers 方案（AK+K），在單機單卡的環境中，能夠運行 DeepSeek R1 671B 8bit 滿血版，prefill 和 decode 速度是 llama.cpp 的 4-6 倍。
• 鯤鵬 CPU+ KTransformers 方案（K+K），在單機零卡的環境中，CPU MoE 算子帶寬利用率達到 70 %，運行 DeepSeek R1 671B 8bit 滿血版，prefill 和 decode 速度是 llama.cpp 的 4-6 倍。

KTransformers解決了大模型部署中高昂的硬件成本與顯存瓶頸問題，降低了中小團隊和開發者參與大模型研發的資金門檻，將大模型拓展到端側，極大推動了AI 智能普惠。

事實上，卓越中心/孵化中心提供的不僅僅是硬件資源，還有以鯤鵬、昇騰技術為底座的全流程AI技術，這也意味著許多高校科研項目可以全面擁抱自主算力和生態。

以昇騰為例，其開放性和易用性讓各大高校的科研項目在其平臺上的開展并不困難。昇騰CANN8.0支持主流的Pytorch、TensorFlow、ONNX等第三方深度學習框架，這種無縫的銜接使得各主流項目都可以很快的移植到了昇騰體系內，還可以使用torch_npu進行開發，整體代碼都可以無縫在昇騰NPU上訓練和推理。

對于一個模型來說，算子是其靈魂，決定了這個模型的性能，CANN對自定義算子的支持是模型做出差異化的關鍵。Ascend C是CANN針對算子開發場景推出的編程語言，支持C和C++標準規范，兼具開發效率和運行性能。基于Ascend C編寫的算子程序，通過編譯器編譯和運行時調度，運行在昇騰AI處理器上。此外算子加速庫提供了一系列豐富的深度優化、硬件親和的高性能算子，如Neural Network、Digital Vision Pre-Processing算子等，方便開發者調用進一步優化算法運行性能、構筑差異化，目前基于CANN開發的融合算子數量新增80 多個。

除了CANN，昇騰應用使能套件也很好地賦能AI應用的開發。例如MindSpeed在大模型需求量激增的時代背景下，起到了非常關鍵的作用。當規模達達到百億甚至更大時，就需要進行模型切分，并在多個節點上進行模型并行。在這方面可以充分利用昇騰MindSpeed分布式加速套件，讓大模型分布式并行運算。更有甚者，針對大模型的深度思考能力，昇騰推出了MindSpeed RL強化學習套件。面對訓推環節反復迭代和轉換遇到的計算資源利用率低，通信時延高和內存溢出風險，MindSpeed RL具備訓推共卡和推理異步生成技術，顯著減少內存占用并加速收斂，大幅提升后訓練資源利用率。

從硬件、底層技術架構到應用使能層，卓越中心/孵化中心提供了以鯤鵬、昇騰為主的全面的技術支持，同時使能高校反哺系統平臺的創新。這樣一來，雙方合力做厚算力黑土地，在未來可以更好地、更廣泛地支撐應用開發者的創新。

孵化中心是校企的雙贏選擇，是AI基礎技術躍升的“溫床”

回顧AI的發展，高質量數據集的建立，神經卷積網絡的出現都是從高校開始的，甚至CUDA也是通過在高校建立卓越中心發展起來的。高校，尤其是頂尖高校是AI人才的搖籃，這是毋庸置疑的，同時各種報告和數據也顯示出高校在AI人才的培養也面臨諸多問題，比如高校的算力不足，再比如無法深入硬件層優化算法等。

鯤鵬昇騰科教創新卓越中心/孵化中心的建立是高校和企業雙贏的選擇，高校在算力、技術支持及學生技能提升上獲益的同時，通過與昇騰團隊的交流合作，在算子開發領域也攻克了很多難題，共同推動了AI基礎技術的發展。

“萬丈高樓平地起”，做好基礎技術的創新是一個“打地基”的過程，越成熟、越穩固的底座，便能承載和支持更加豐富且性能強大的產品創新。立足長遠，夯實基礎就是鯤鵬昇騰科教創新卓越中心和孵化中心正在做的。

參考資料：

領先的 100 所學術機構 | |補充劑 |自然指數

github.com/PKU-YuanGroup/Open-Sora-Plan

AI’s computing gap: academics lack access to powerful chips needed for research

鯤鵬昇騰科教創新卓越中心/孵化中心-高校人才發展社區

昇思MindSpore | 全場景AI框架 | 昇思MindSpore社區官網

Open-Sora 計劃：開源大型視頻生成模型

憑借昇騰澎湃算力，Open-Sora Plan實現電影級視頻生成

GitHub - kvcache-ai/ktransformers：用于體驗尖端 LLM 推理優化的靈活框架