大模型進入自動駕駛后，最直接的價值在于場景理解。它可以識別前車是否準備并線、行人是否可能橫穿、施工區域是否會影響車道，也可以分析復雜路口中的讓行關系。

但自動駕駛需要的不只是 “看懂”。車輛真正要做的是在下一秒給出動作，是否減速、軌跡是否偏移、繼續跟車還是選擇繞行。因此關鍵問題變成了大模型的理解能力，如何真正服務于駕駛決策和軌跡規劃？

01 引言

圖中總結了近年來該領域代表性工作的探索方向：一種是把 VLM 放在前面，當作場景編碼器，先理解圖像，再把信息交給 planner。這種方式分工清楚，但理解和規劃仍然是分開的。另一種是把 VLM 作為輔助模塊，讓它輸出風險判斷、駕駛意圖或條件信號，實時控制仍由 planner 完成。這樣對原系統改動較小，但也容易浪費大模型能力：復雜推理最后被壓縮成少量提示，很難完整轉化為動作。

還有一種更直接的做法，是把 reasoning 和 action 放進同一個 VLA 模型里。這樣理解和動作被統一起來，但也帶來實時性問題：高層推理可以慢，軌跡規劃必須快。如果兩者始終同步執行，大模型推理延遲就會限制系統反應速度。

針對上述問題，來自南洋理工大學 AutoMan Lab、哈佛大學和小米汽車的研究團隊提出了AutoMoT，一種面向端到端自動駕駛的統一 Vision-Language-Action 模型，將場景理解、軌跡規劃與動作決策統一到同一潛在空間中，并通過異步推理實現 “低頻理解、高頻行動”。具體而言，理解模塊負責高層語義建模，動作模塊負責決策與軌跡規劃，二者通過layer-wise shared attention在模型內部進行直接交互。

實驗結果表明，AutoMoT 在 Bench2Drive 和 nuScenes 兩個基準上均取得了 SOTA 性能。其中，在 Bench2Drive 閉環評測中，AutoMoT 達到87.34 DS / 70.00%SR，加入 Action Refiner 后的 AutoMoT+ 進一步提升至89.42 DS / 74.09% SR；在 nuScenes 開環規劃評測中，其平均碰撞率僅為 0.07%, 平均 L2 為 0.32。該工作已被 ICML 2026 正式接收。

• 論文標題：AutoMoT: A Unified Vision-Language-Action Model with Asynchronous Mixture-of-Transformers for End-to-End Autonomous Driving
• 論文鏈接：https://arxiv.org/abs/2603.14851
• 項目主頁：https://automot-website.github.io/
• 代碼鏈接：https://github.com/OscarHuangWind/AutoMoT
• 模型鏈接：https://huggingface.co/Oscar-Huang/AutoMoT
• 數據鏈接：https://huggingface.co/datasets/Oscar-Huang/nuSync

02 模型架構

理解、決策與規劃的統一

AutoMoT 由兩個專家組成：Understanding Expert（UE）和Action Expert（AE）。

如上圖左側所示，UE 是一個 4B 級 Qwen3-VL backbone，輸入多幀 RGB 圖像和導航提示，生成 reasoning tokens；AE 是約 1.6B 參數的動作專家，輸入當前 RGB、LiDAR BEV、decision queries、target points 和 planning queries，生成決策與規劃 tokens。

關鍵在于 UE 和 AE 不是傳統 hierarchical 式串聯。AutoMoT 在每一層引入Layer-wise Shared Attention：UE 提供高層場景理解，AE 在生成動作時可以訪問這些中間表示。這樣，UE 的場景理解不再只限于外部文本解釋，而是直接參與動作生成。

上圖右側展示了 AutoMoT 的 attention 設計。Understanding、Decision、Planning 三類任務通過 cross-task causal mask 建立明確的信息流：Decision 可以讀取 Understanding 的場景理解信息，Planning 則可以同時讀取 Understanding 和 Decision 的信息；任務內部仍保持雙向注意力。因此，Action Expert 并不是從零開始學習規劃，而是在基座模型的先驗知識的基礎上學習決策與軌跡生成。模型先理解場景，再基于理解形成決策，最后結合理解與決策生成規劃，使軌跡預測不再只是幾何擬合，而是由場景語義和駕駛意圖共同驅動。

異步推理，KV Cache 復用場景理解

AutoMoT 的異步推理主要用于解決閉環駕駛中的實時性問題。動作規劃需要高頻刷新，因為自車狀態和周圍交通參與者都在不斷變化；而高層場景理解具有一定時間連續性，例如前方施工區域、慢速車輛或路口拓撲關系，并不會在相鄰幾個控制周期內完全改變。

因此，AutoMoT 讓 UE 周期性更新高層理解，AE 則以更高頻率生成動作。UE 完成一次理解后會保存對應的 KV cache，AE 在后續多個動作步中可以直接基于這些 cached states 進行多步決策和軌跡規劃，而無需每一步都重新執行完整的大模型推理。

這說明 AutoMoT 并不是削弱大模型推理，而是重新定義其參與控制的方式：高層理解仍然影響動作生成，但不再阻塞每一次軌跡刷新。

03 實驗驗證

閉環和開環結果

在 CARLA Bench2Drive 閉環評測中，AutoMoT 取得了87.34 DS / 70.00% SR，超過 SimLingo 的 85.07 / 67.27。在加入 Action Refiner 后，AutoMoT+ 進一步提升至89.42 DS / 74.09% SR，達到當前 SOTA 水平。這表明動作細化模塊能夠進一步提升規劃質量和任務成功率，也體現了 AutoMoT 在完整路線執行中的閉環駕駛能力。

在 nuScenes 開環規劃中，AutoMoT 的 L2@1s / 2s / 3s 分別為0.14 / 0.29 / 0.54，平均 L2 為0.32；碰撞率分別為0.01% / 0.06% / 0.15%，平均碰撞率僅為 0.07%，在安全相關指標上達到當前 SOTA 水平。這說明 AutoMoT 不僅能夠保持較低的軌跡誤差，也能生成更安全的規劃結果。

重新思考基座模型的通用能力到底要不要完全 tailor 到自動駕駛領域？

AutoMoT 還討論了一個容易被忽略的問題：預訓練基座模型進入自動駕駛后，是否需要整體微調成駕駛專用模型？在 AutoMoT 中，保留 Understanding Expert 的預訓練能力并不是單純為了節省算力，而是因為隨著基座模型能力不斷增強，它們已經具備很強的通用場景理解、視覺語義建模和復雜關系推理能力，并在自動駕駛場景理解任務中展現出 SOTA 水平。

圖第一組實驗比較了 AutoMoT 在自動駕駛和通用任務上的 reasoning 能力。AutoMoT 在 LingoQA 上達到67.00，接近 ReCogDrive 的67.20；在 OmniDrive 上達到0.89，高于 ReCogDrive 和 Robotron-Drive 的0.82；在 CODA-LM 上達到6.07。同時，它在 TallyQA 和 InfoVQA 等通用任務上分別達到81.40和89.30。這說明，在不完全專門化 backbone 的情況下，AutoMoT 仍然能保持較好的駕駛場景理解和通用推理能力。

第二組實驗進一步說明，fine-tuning 的收益并不均勻。對于 LingoQA 這類場景理解任務，微調幾乎只帶來邊際提升，分數從67.00增至67.20；但在 OmniDrive 這類更接近規劃和動作層的任務上，提升非常明顯，從18.20增至67.80。這表明自動駕駛中真正需要強領域適配的部分，更多集中在如何把場景理解轉化為決策和動作，而不是基礎視覺語言理解本身。

但整體微調 backbone 也會帶來代價。微調后，TallyQA 從81.40降到52.40，InfographicVQA 從89.30降到50.20，VizWiz 從75.60降到50.20。這些結果說明，如果把整個基座模型深度改造成駕駛專用模型，可能會削弱其原本的通用理解和復雜推理能力。

因此，AutoMoT 采用了更明確的分工：UE 保留預訓練 VLM 的通用場景理解能力，AE 則專門學習自動駕駛中的決策、規劃和動作生成。需要強調的是，這并不是否定 fine-tuning 的價值，而是認為不同能力應當在更合適的模塊中進行適配：高層理解能力由 UE 保留，action-level adaptation 則主要由 AE 完成，從而避免整體微調可能帶來的通用能力退化。

4. 結語

AutoMoT 的核心并不是讓 VLM 直接接管駕駛，而是在自動駕駛 VLA 系統中重新組織 “理解” 和 “行動” 的關系。

因此，AutoMoT 選擇保留 UE 的通用理解能力，將自動駕駛中的動作學習主要交給 AE 完成。兩者通過layer - wise shared attention連接，使 AE 在生成決策和軌跡時能夠直接利用 UE 的中間表示，而不是僅僅接收一段外部文本解釋。與此同時，異步推理與 KV cache 將完整 VLM 前向從每個動作周期中解耦出來，從而降低實時控制中的計算壓力。

AutoMoT 提供了一個關于智能駕駛基座模型適配的新視角。將整個基座模型深度適配到駕駛領域固然有其優勢，但也往往伴隨著更高的標注、人力和算力成本。AutoMoT 的 SOTA 性能則展示了另一種更高效的可能：保留基座模型強大的通用場景理解能力，同時將駕駛相關的決策與規劃能力交由專門的動作專家學習，并通過緊湊的跨模塊注意力機制實現二者之間的高效協同。這樣的設計在保持強性能的同時，也為面向真實部署的 VLA 系統提供了一條更具可擴展性的路徑。