黑芝麻智能華山A2000 BaRT工具鏈以MLIR框架為基礎(chǔ),為智駕模型規(guī)模化、高性能、低功耗部署提供高效解決方案。隨著智駕模型參數(shù)規(guī)模與計(jì)算復(fù)雜度指數(shù)級(jí)增長(zhǎng),大模型應(yīng)用與車端硬件、性能功耗的矛盾愈發(fā)凸顯,黑芝麻智能通過"全流程優(yōu)化、全場(chǎng)景兼容、高精度適配"三大核心能力,推動(dòng)輔助駕駛模型部署的"效率革命"。

為什么 AI 編譯器是智能駕駛時(shí)代的 “剛需”?

當(dāng)輔助駕駛模型從實(shí)驗(yàn)室走向量產(chǎn)車,一個(gè)關(guān)鍵難題浮出水面:復(fù)雜模型如何在 GPU、NPU、車載芯片等不同硬件上高效落地?

傳統(tǒng)編譯器聚焦CPU指令級(jí)優(yōu)化,面對(duì)深度學(xué)習(xí)模型的張量計(jì)算、動(dòng)態(tài)結(jié)構(gòu)早已力不從心。而智駕場(chǎng)景的特殊性,更讓這個(gè)問題雪上加霜:

模型復(fù)雜度飆升:

Transformer、BEV 感知、大模型(LLM/VLM)等結(jié)構(gòu),帶來海量參數(shù)與復(fù)雜算子依賴,逐算子執(zhí)行效率極低;

部署場(chǎng)景碎片化:

從云端訓(xùn)練到車端推理,從高算力 GPU 到低功耗端側(cè) SoC,硬件差異巨大,人工適配無法規(guī)模化;

性能與功耗矛盾:

輔助駕駛模型需實(shí)時(shí)響應(yīng),FP32精度的訓(xùn)練模型,在車端場(chǎng)景下功耗與延遲完全不達(dá)標(biāo);

資源競(jìng)爭(zhēng)激烈:

車端系統(tǒng)中,模型需與其他任務(wù)共享算力,實(shí)時(shí)性與穩(wěn)定性要求嚴(yán)苛。

此時(shí),AI 編譯器就像 “模型與硬件之間的翻譯官 + 優(yōu)化師”,通過全局分析實(shí)現(xiàn)算子融合、內(nèi)存優(yōu)化、量化加速與任務(wù)調(diào)度,讓模型 “一次訓(xùn)練、多處運(yùn)行”,同時(shí)兼顧高性能、低功耗與精度穩(wěn)定性。

華山A2000 BaRT 工具鏈:從模型到硬件的全流程優(yōu)化方案

華山A2000 BaRT 工具鏈基于 MLIR 框架,以 “分層 Dialect + 逐級(jí)優(yōu)化” 為核心邏輯,打通從 ONNX 模型到硬件可執(zhí)行代碼的全鏈路。其整體架構(gòu)與流程,完美解決了輔助駕駛模型部署的核心痛點(diǎn):

1、工具鏈核心組件:四大模塊協(xié)同發(fā)力

BaRT 工具鏈由Model Compiler、DAL、HAPPY、Runtime四大核心模塊組成,覆蓋編譯、量化、調(diào)優(yōu)、部署全流程:

Model Compiler:

基于 MLIR 的核心編譯器,支持硬件無關(guān)(類型推導(dǎo)、表達(dá)式簡(jiǎn)化)與硬件相關(guān)(自動(dòng)并行化、圖融合、流水線執(zhí)行)雙重優(yōu)化,且量化與編譯解耦,可靈活對(duì)接第三方量化工具;

DAL 深度學(xué)習(xí)加速庫:

可嵌入訓(xùn)練代碼的 whl 包,無需修改原代碼即可實(shí)現(xiàn) PTQ(后訓(xùn)練量化)、QAT(量化感知訓(xùn)練)、剪枝、蒸餾等操作,針對(duì)性適配 A2000 硬件;

HAPPY 性能分析平臺(tái):

提供 Graphwise(圖級(jí)別)與 Layerwise(層級(jí)別)雙維度分析,精準(zhǔn)定位精度損失點(diǎn)與計(jì)算 / IO 瓶頸,大幅提升調(diào)試效率;

Runtime 板端運(yùn)行庫:

原生支持 C/C++、Python 及 Triton 接口,適配 MLIR 生態(tài),實(shí)現(xiàn)板端 PyTorch 推理與算子在線轉(zhuǎn)換,滿足快速部署與自定義需求。

2、編譯全流程:從高層模型到硬件指令的高效映射

BaRT 工具鏈的編譯流程以 “分層 Dialect” 為核心,實(shí)現(xiàn)逐級(jí)優(yōu)化與降維:

模型導(dǎo)入與規(guī)范化:

讀入 ONNX 模型,轉(zhuǎn)換為 ONNX Dialect,統(tǒng)一算子與結(jié)構(gòu)表達(dá);

語義統(tǒng)一與簡(jiǎn)化:

Lowering(降級(jí))到 TOSA Dialect,屏蔽上游框架差異,為后端優(yōu)化奠定基礎(chǔ);

核心優(yōu)化與約束:

進(jìn)入 BST Dialect,完成算子融合、內(nèi)存布局優(yōu)化與執(zhí)行約束定義,適配 NPU 硬件特性;

硬件代碼生成:

通過 NPU Backend 生成可執(zhí)行指令,經(jīng) Model Stitching 封裝為完整二進(jìn)制模型。

在 MLIR 框架支撐下,整個(gè)流程通過 IR(中間表示)、Dialect(擴(kuò)展方言)、Pass(優(yōu)化操作)三大核心組件,實(shí)現(xiàn)高層邏輯優(yōu)化(如張量布局調(diào)整)與底層硬件優(yōu)化(如循環(huán)拆分、內(nèi)存規(guī)劃)的深度協(xié)同,既保證跨平臺(tái)兼容性,又最大化硬件性能。

核心優(yōu)勢(shì):面向智駕場(chǎng)景提供全流程高效部署能力

全場(chǎng)景模型兼容:

原生支持 Transformer 系列、端到端模型、BEV 感知模型及 LLM/VLM 大模型,覆蓋視覺、語言、多模態(tài)等智駕核心場(chǎng)景,無需額外適配即可編譯優(yōu)化;

精度與性能雙保障:

通過軟硬件協(xié)同的定點(diǎn)量化機(jī)制,在精度損失可忽略的前提下,大幅降低計(jì)算量與內(nèi)存帶寬需求;同時(shí)保證 PC 端訓(xùn)練與硬件端部署的性能、精度完全一致,降低量產(chǎn)風(fēng)險(xiǎn);

靈活量化與調(diào)度:

DAL 庫支持 PTQ/QAT 全流程量化,且與編譯解耦;Runtime 支持優(yōu)先級(jí)調(diào)度,讓智駕關(guān)鍵任務(wù)優(yōu)先執(zhí)行,滿足實(shí)時(shí)性與穩(wěn)定性要求;

極致硬件適配:

支持浮點(diǎn)、定點(diǎn)及混合精度計(jì)算,針對(duì) A2000 神經(jīng)網(wǎng)絡(luò)加速器的計(jì)算能力、內(nèi)存結(jié)構(gòu)與并行特性,優(yōu)化算子執(zhí)行與內(nèi)存使用,實(shí)現(xiàn)硬件性能最大化釋放,兼顧高性能與低功耗。

總結(jié):華山A2000 BaRT工具鏈推動(dòng)輔助駕駛模型部署的 “效率革命”

作為智駕時(shí)代的核心基礎(chǔ)設(shè)施,黑芝麻智能華山A2000 BaRT工具鏈通過四大模塊協(xié)同發(fā)力與分層Dialect優(yōu)化邏輯,不僅實(shí)現(xiàn)從ONNX模型到硬件可執(zhí)行代碼的全鏈路打通,更通過軟硬件協(xié)同量化機(jī)制在精度損失可忽略前提下降低計(jì)算量與內(nèi)存帶寬需求。黑芝麻智能正以全球領(lǐng)先科技,持續(xù)推動(dòng)"一次訓(xùn)練、多處運(yùn)行"的智駕模型部署新范式,助力打造世界最好的智能駕駛產(chǎn)品。