國產(chǎn)算力基建進(jìn)入下半場，重心正從芯片的「數(shù)量增長」轉(zhuǎn)向「效率提升」。國產(chǎn)芯片數(shù)量持續(xù)增長，但生態(tài)建設(shè)依舊落后，這正是當(dāng)下 AI 落地最真實(shí)的一幕。

模型不斷刷新參數(shù)，底層卻在艱難轉(zhuǎn)場。

比起輪番刷新的參數(shù)規(guī)模記錄，更難轉(zhuǎn)變的是開發(fā)者所使用的那套固化的流程。算力只是門檻，而真正的較量在于算法與硬件的協(xié)同效率。

KernelCAT：計(jì)算加速專家級(jí)別的 Agent

幾乎每個(gè)人都能感受到 AI 領(lǐng)域的加速感，模型密集發(fā)布，應(yīng)用數(shù)據(jù)持續(xù)走高。但在真實(shí)的工程現(xiàn)場，感受卻更復(fù)雜：真正制約落地效率的不是模型能力本身，而是底層軟件生態(tài)的成熟度。

硬件選擇變多，問題反而集中暴露出來：遷移成本高，適配周期長，性能釋放不穩(wěn)定。很多模型即便具備條件切換算力平臺(tái)，最終也會(huì)被算子支持和工具鏈完整度擋在門外。

這讓一個(gè)事實(shí)變得越來越清晰。突破口不是堆更多算力，而是打通算法到硬件之間那段最容易被忽視的工程鏈路，把芯片的理論性能真正轉(zhuǎn)化為可用性能。

其中最關(guān)鍵的一環(huán)正是高性能算子的開發(fā)。

算子（Kernel）的作用是連接 AI 算法與計(jì)算芯片，它將算法轉(zhuǎn)化為硬件可執(zhí)行的指令，決定了 AI 模型的推理速度、能耗與兼容性。

算子開發(fā)屬于內(nèi)核級(jí)的編程工程，但行業(yè)現(xiàn)狀卻仍高度依賴個(gè)人經(jīng)驗(yàn)。它極度依賴頂尖專家的直覺與肌肉記憶，性能調(diào)優(yōu)往往像是在迷霧里盲測，周期漫長。

但如果，讓 AI 來開發(fā)算子呢？

傳統(tǒng)大模型或知識(shí)增強(qiáng)型 Agent 在此類任務(wù)面前往往力不從心。因?yàn)樗鼈兩瞄L模式匹配，卻難以理解復(fù)雜計(jì)算任務(wù)中的物理約束、內(nèi)存布局與并行調(diào)度邏輯。唯有超越經(jīng)驗(yàn)式推理，深入建模問題本質(zhì)，才能實(shí)現(xiàn)真正的「智能級(jí)」優(yōu)化。

正是在這種嚴(yán)峻的技術(shù)挑戰(zhàn)下，KernelCAT 應(yīng)運(yùn)而生。

KernelCAT 終端版 Agent

KernelCAT 是一款本地運(yùn)行的 AI Agent。它不僅是深耕算子開發(fā)和模型遷移的「計(jì)算加速專家」，也能夠勝任日常通用的全棧開發(fā)任務(wù)，提供了 CLI 終端命令行版與簡潔桌面版兩種形態(tài)供開發(fā)者使用。

不同于僅聚焦特定任務(wù)的工具型 Agent，KernelCAT 具備扎實(shí)的通用編程能力。

它不僅能理解、生成和優(yōu)化內(nèi)核級(jí)別代碼，也能處理常規(guī)軟件工程任務(wù)，如環(huán)境配置、依賴管理、錯(cuò)誤診斷與腳本編寫，從而在復(fù)雜場景中實(shí)現(xiàn)端到端自主閉環(huán)。

KernelCAT 桌面版 Agent

為國產(chǎn)芯片生態(tài)寫高性能算子

在算子開發(fā)中，有一類問題很像「調(diào)參」。面對(duì)幾十上百種參數(shù)或策略組合，工程師需要找出讓算子跑得最快的那一組配置。

傳統(tǒng)做法靠經(jīng)驗(yàn)試錯(cuò)費(fèi)時(shí)費(fèi)力且容易踩坑。KernelCAT 的思路是：引入運(yùn)籌優(yōu)化，把「找最優(yōu)參數(shù)」這件事交給算法，讓算法去探索調(diào)優(yōu)空間并收斂到最佳方案。

以昇騰芯片上的 FlashAttentionScore 算子為例，KernelCAT 可以依據(jù)昇騰官方的示例代碼自動(dòng)對(duì)該算子的分塊參數(shù)調(diào)優(yōu)問題進(jìn)行運(yùn)籌學(xué)建模，并使用數(shù)學(xué)優(yōu)化算法求解。十幾輪迭代后就能鎖定最優(yōu)配置，在多種輸入尺寸下延遲降低最高可達(dá) 22%，吞吐量提升最高近 30%，整個(gè)過程無需人工干預(yù)。

這正是 KernelCAT 的獨(dú)特之處。它不僅具備大模型的智能，能夠理解代碼、生成方案，還擁有運(yùn)籌優(yōu)化算法的嚴(yán)謹(jǐn)，能夠系統(tǒng)搜索并收斂到最優(yōu)解。

智能與算法的結(jié)合讓算子調(diào)優(yōu)既靈活，又有交付保障。

在對(duì) KernelCAT 的另一場測試中，該團(tuán)隊(duì)選取了 7 個(gè)不同規(guī)模的向量加法任務(wù)，測試目標(biāo)明確，即在華為昇騰平臺(tái)上，直接對(duì)比華為開源算子、「黑盒」封裝的商業(yè)化算子與 KernelCAT 自研算子實(shí)現(xiàn)的執(zhí)行效率。

結(jié)果同樣令人振奮。在這個(gè)案例的 7 個(gè)測試規(guī)模中，KernelCAT 給出的算子版本性能均取得領(lǐng)先優(yōu)勢，且任務(wù)完成僅用時(shí) 10 分鐘。這意味著，即便面對(duì)經(jīng)過商業(yè)級(jí)調(diào)優(yōu)的閉源實(shí)現(xiàn)，KernelCAT 所采用的優(yōu)化方式仍具備一定競爭力。

這不僅是數(shù)值層面的勝利，更是國產(chǎn) AI Agent 在算子領(lǐng)域完成的一次自證。

沒有堅(jiān)不可破的生態(tài)，包括 CUDA

全球范圍內(nèi)，目前超過 90% 的重要 AI 訓(xùn)練任務(wù)運(yùn)行于英偉達(dá) GPU 之上，推理占比亦達(dá) 80% 以上；其開發(fā)者生態(tài)覆蓋超 590 萬用戶，算子庫規(guī)模逾 400 個(gè)，深度嵌入 90% 頂級(jí) AI 學(xué)術(shù)論文的實(shí)現(xiàn)流程。

黃仁勛曾言：「我們創(chuàng)立英偉達(dá)，是為了加速軟件，芯片設(shè)計(jì)反而是次要的。」

在現(xiàn)代計(jì)算體系中，軟件才是真正的護(hù)城河。英偉達(dá)的持續(xù)領(lǐng)先，源于其從底層算法出發(fā)、貫通架構(gòu)與編程模型的全棧掌控能力。

參考 AMD 的歷史經(jīng)驗(yàn)，即使在架構(gòu)與制程上具備充足的競爭力，缺乏成熟的生態(tài)系統(tǒng)也仍然難以撼動(dòng)英偉達(dá)的地位。

這類案例清晰地表明，模型性能并不簡單等價(jià)于算力規(guī)模的堆疊，而是取決于算法設(shè)計(jì)、算子實(shí)現(xiàn)與硬件特性的協(xié)同程度。當(dāng)算子足夠成熟，硬件潛力才能被真正釋放。

沿著這條思路，KernelCAT 團(tuán)隊(duì)圍繞模型在本土算力平臺(tái)上的高效遷移，進(jìn)行了系統(tǒng)性的工程探索。以 DeepSeek-OCR-2 模型在華為昇騰 910B2 NPU 上的部署為例，KernelCAT 展示了一種全新的工作范式：

• 對(duì)抗「版本地獄」：KernelCAT 對(duì)任務(wù)目標(biāo)和限制條件有著深度理解，基于 DeepSeek-OCR-2 官方的 CUDA 實(shí)現(xiàn)，通過精準(zhǔn)的依賴識(shí)別和補(bǔ)丁注入，解決了 vLLM、torch 和 torch_npu 的各個(gè)依賴庫間版本互鎖的三角矛盾，硬生生從零搭建起了一套穩(wěn)定的生產(chǎn)環(huán)境，結(jié)合基礎(chǔ) Docker 鏡像即可實(shí)現(xiàn)模型的開箱即用。

• 準(zhǔn)確修補(bǔ)：它敏銳地識(shí)別出原版 vLLM 的 MOE 層依賴 CUDA 專有的操作，和 vllm-ascend 提供的 Ascend 原生 MOE 實(shí)現(xiàn)，并果斷通過插件包進(jìn)行調(diào)用替換，讓模型在國產(chǎn)芯片上「說上了母語」。

• 實(shí)現(xiàn) 35 倍加速：在引入 vllm-ascend 原生 MOE 實(shí)現(xiàn)補(bǔ)丁后，vLLM 在高并發(fā)下的吞吐量飆升至 550.45toks/s，相比 Transformers 方案實(shí)現(xiàn)了 35 倍加速，且在繼續(xù)優(yōu)化中。

• 無需人工大量介入：在這種復(fù)雜任務(wù)目標(biāo)下，KernelCAT 可以自己規(guī)劃和完成任務(wù)，無需研發(fā)提供大量提示詞指導(dǎo)模型工作。

有了 KernelCAT，原本需要頂尖工程師團(tuán)隊(duì)花費(fèi)數(shù)周才能完成進(jìn)行的適配工作，現(xiàn)在可以縮短至小時(shí)級(jí)（包含模型下載、環(huán)境構(gòu)建的時(shí)間）。

與此同時(shí)，它讓國產(chǎn)芯片實(shí)現(xiàn)了 35 倍的加速。也就是說，KernelCAT 讓國產(chǎn)芯片可以通過深度工程優(yōu)化，承載頂級(jí)多模態(tài)模型推理任務(wù)的性能引擎。

KernelCAT 所代表的不只是一個(gè) AI Agent 新范式的出現(xiàn)，更是一種底層能力建設(shè)方式的轉(zhuǎn)向：從依賴既有生態(tài)，到構(gòu)建能夠自我演進(jìn)的計(jì)算基礎(chǔ)。

KernelCAT 正限時(shí)免費(fèi)內(nèi)測中，歡迎體驗(yàn)。

點(diǎn)擊原文鏈接即可跳轉(zhuǎn)產(chǎn)品主頁。