實現ITPS與OTPS雙突破！昆侖芯馬陽：文心一言背后的國產算力“壓榨”實戰

大模型靠盲目價格戰和粗放燃燒算力的時代已經結束，真正的出路不再是“更便宜的 Token”，而是“更精細的工程架構”。市場正在倒逼工程進步，迫使技術開發者從算力的“消耗者”轉變為算力的“壓榨者”。

責編 | 夢依丹

出品 | CSDN（ID：CSDNnews）

「算力」正撕裂著 AI 行業的幻夢。

即便強如 OpenAI，Sam Altman 也不得不坦言，之所以關停 Sora 這樣的現象級產品，核心原因在于算力資源極度緊缺，無法支撐非最高優先級產品的消耗。

還有一件事，那就是算力緊缺正倒逼工程方案走向極端。近日的 Claude Code 源碼泄露揭開了一個尷尬的內幕：為了解決復合命令安全分析帶來的 UI 卡頓和性能開銷，工程師將安全審查上限設為 50 條，導致超過 50 條命令后會靜默繞過拒絕規則，留下了致命的高危漏洞。這種“為省性能犧牲安全”的工程妥協，折射出大模型公司在算力成本與工程效能之間的劇烈掙扎。

為了深入拆解工業級大模型的推理優化路徑，由 CSDN與奇點智能研究院聯合舉辦大「2026 奇點智能技術大會」將于 4 月 17-18 日在上海召開，來自昆侖芯推理框架架構師馬陽將受邀出席，并帶來題為《昆侖芯大規模 LLM 推理優化：在文心一言上的實踐》的主題分享。

揭秘全棧優化：如何實現 ITPS 和 OTPS 的雙突破？

在文心一言這種億級流量、高并發的生產環境中，任何微小的架構抖動都可能影響千萬用戶的體驗。

在本次演講中，馬陽將系統性揭秘昆侖芯在文心一言落地過程中的硬核技術路線。這不僅是關于算力的博弈，更是一場精密的軟件工程：

PD 分離與“層級式”傳輸： 針對 Prefill 和 Decode 階段對資源需求的錯位，馬陽老師將分享如何通過 PD 分離部署突破單機性能瓶頸。他將詳細解析如何利用 layer-wise 方式掩蓋 KV Cache 傳輸耗時，讓集群在處理超大規模請求時依然保持強韌性。

投機解碼的“倍速”魔法： 面對 Decode 階段的訪存瓶頸，昆侖芯通過 Speculative Decoding 技術，在不顯著損失生成質量的前提下，實現了生成速度的飛躍。在特定配置下，其 Normalized Performance 可提升至 2.81 倍，這對于追求極致交互體驗的應用來說是巨大的紅利。

量化創新的“降維打擊”： 開發者常受困于 KV Cache 的顯存占用與計算開銷。馬陽老師將分享一個極具啟發性的創新解法：將 KV Cache 反量化等價轉換為對 Attention 輸入輸出的縮放。這一改動直接將時間復雜度從 O(n) 降為 O(1)，徹底消除了計算量對序列長度的依賴。

空泡消除與 CUDA Graph 實戰： 針對小 Batch 場景下內核啟動開銷大的痛點，昆侖芯利用 CUDA Graph 捕獲計算圖重復執行。實戰數據表明，在 Batch=1 時，OTPS（每秒輸出 Token 數）提升高達 61%。此外，通過 H2D/D2H 的異步拷貝優化，端到端性能可再獲 4% 的增益。

MoE 并行與“雙流”重疊： 在處理萬億級 MoE 模型時，通信開銷往往是吞吐量的殺手。馬陽將詳解如何通過 雙流 Overlap 優化，讓計算與通信高度重疊。在 Prefill 階段，這一策略能帶來約 20% 的吞吐提升，是長序列高吞吐場景的破局關鍵。

通過這一系列從底層算子到上層架構的協同，昆侖芯交出了一份驚艷的成績單：不僅實現了 ITPS 和 OTPS 的雙重飛躍，更在實際業務測試中，顯著降低了顯存占用與整體部署成本，且精度損失幾乎可以忽略不計。

對于每一位在 AI 推理一線奮斗的開發者與架構師來說，馬陽老師的分享將直接指向落地的“最后一公里”：

? 掌握工業級部署方法論：學習如何在萬億參數規模下，平衡顯存、吞吐與延遲三大核心指標。

? 獲取極致性能優化的 Tips：從算子開發到通信重疊，獲取在真實業務中驗證過的優化細節。

? 洞察國產算力生態實戰：了解昆侖芯與飛槳開源生態的持續建設，預判下一代推理技術趨勢。

從底層算子到規模化落地的實戰派

作為昆侖芯推理框架的核心人物，馬陽深耕 AI 推理優化與國產芯片適配領域 7 年，專注昆侖芯上的推理軟件研發、大模型推理適配與性能優化，支撐多個核心推理項目落地。

全程參與昆侖芯 1/2/3 代產品推理方向的軟件研發工作，完整經歷從算子開發、框架搭建到大模型規模化落地的全流程，具備軟硬件適配、精度性能優化、業務工程化落地等全鏈路實戰經驗，深諳國產芯片推理落地的核心痛點。

曾主導文心一言系列推理模型在昆侖 2/3 代芯片上的研發攻堅，從零到一完成相關推理優化技術的落地，實現 TCO 優于競品，成功支撐了多個業務場景上線，并持續穩定運行。

4 月 17-18 日，上海·環球港凱悅酒店。

我們誠邀您參加「2026 奇點智能技術大會」，與馬陽及數十位 AI 技術領軍者齊聚一堂。在算力即燃料的時代，學會如何用最精密的“發動機”，帶動最宏大的智能遠景。

目前 2026 奇點智能技術大會全日程已上線。

我們將通過 50+ 場高密度的深度復盤，為你繪制一份穿越 AI 周期、駕馭系統工程的實戰指南。