如果你向一個(gè)人拋去一個(gè)棒球，他接住球的過(guò)程流暢而自然：眼睛追蹤軌跡，身體調(diào)整姿態(tài)，手掌在預(yù)判的落點(diǎn)穩(wěn)穩(wěn)合攏。這個(gè)過(guò)程中，沒(méi)有人在腦內(nèi)設(shè)定一個(gè)固定的“每0.1秒預(yù)測(cè)一次”的時(shí)鐘。人的預(yù)測(cè)以事件為錨點(diǎn)，球的上升、下落、近手，每一次預(yù)測(cè)的密度和精度隨物理事件的重要性動(dòng)態(tài)調(diào)配。

然而，直到今天，絕大多數(shù)世界模型和視覺(jué)-語(yǔ)言-行動(dòng)模型，仍然在扮演一個(gè)“機(jī)械秒表”的角色：它們以固定時(shí)間長(zhǎng)度為切片，預(yù)測(cè)未來(lái)3秒或5秒的視頻幀與動(dòng)作序列，像是一個(gè)被設(shè)定好幀率的攝影機(jī)，不分輕重地記錄每個(gè)瞬間。

近日，自變量機(jī)器人發(fā)布其首個(gè)“事件級(jí)”世界模型 Wall-WM，并同步公開(kāi)了一篇重磅技術(shù)論文。這或許是近年來(lái)對(duì)“世界模型底層范式”發(fā)起的最系統(tǒng)性質(zhì)疑之一。

01.

文本、視覺(jué)與動(dòng)作的時(shí)空錯(cuò)位

論文指出了一個(gè)長(zhǎng)期被行業(yè)回避的根本問(wèn)題：文本、視覺(jué)、動(dòng)作這三種模態(tài)，根本就不生活在同一個(gè)流形上。

文本是低熵、離散的語(yǔ)義意圖，它的表示空間低維且高度聚集。“抓取紅色方塊”這幾個(gè)字在嵌入空間中是一個(gè)緊湊的語(yǔ)義點(diǎn)。視覺(jué)則是一個(gè)高維、連續(xù)演化的觀測(cè)流，被視角、光照、形變持續(xù)拉扯。而動(dòng)作，是受物理和接觸約束的嚴(yán)苛控制信號(hào)，它的局部幾何對(duì)接觸狀態(tài)和毫秒級(jí)的時(shí)序精度極度敏感。

三者對(duì)“相似性”的定義甚至都不相容：語(yǔ)義上相近的指令可以對(duì)應(yīng)完全不同的視覺(jué)軌跡，而視覺(jué)上相鄰的兩幀狀態(tài)，可能恰好處于接觸發(fā)生的臨界點(diǎn)，需要完全相反的控制策略。

當(dāng)前主流VLA的通行做法，是直接將這些模態(tài)塞進(jìn)一個(gè)共享嵌入空間聯(lián)合優(yōu)化，這本質(zhì)上是在強(qiáng)行要求一個(gè)非線性映射去吸收所有的模態(tài)錯(cuò)配。而這種映射的最終歸屬，往往是訓(xùn)練數(shù)據(jù)最多的那個(gè)模態(tài)。

這也是為什么許多 VLA 模型在實(shí)際真機(jī)部署時(shí)，表現(xiàn)遠(yuǎn)不如其底座視覺(jué)語(yǔ)言模型（VLM）理想的原因。預(yù)訓(xùn)練中積累的豐富先驗(yàn)，在適配過(guò)程中被悄然稀釋。

02.

“事件”：被重新發(fā)現(xiàn)的原子單位

Wall-WM給出的解法，在概念上非常簡(jiǎn)潔：把“事件”確立為視頻-動(dòng)作學(xué)習(xí)的最小語(yǔ)義單元。

什么是事件？伸手、抓取、提起、移動(dòng)、放置——這些是不可再分的、有因果邊界的物理行為。一個(gè)事件擁有一段連續(xù)的、可被語(yǔ)言精確描述的時(shí)間窗口；它對(duì)應(yīng)著一段可被視頻完整覆蓋的視覺(jué)過(guò)程；它驅(qū)動(dòng)著一組首尾自洽的動(dòng)作軌跡。三種模態(tài)在“事件”這個(gè)層級(jí)上，第一次共享了同一個(gè)邊界和同一個(gè)語(yǔ)義錨點(diǎn)。

這似乎是一個(gè)常識(shí)，但在現(xiàn)有VLA的技術(shù)框架中，它往往被系統(tǒng)性地忽略了。主流的做法是固定時(shí)間長(zhǎng)度切塊，而這可能在中間位置橫跨“接近物體”和“接觸物體”兩個(gè)截然不同的物理階段，模型被迫在歧義中學(xué)習(xí)。

以事件為錨點(diǎn)重建模型訓(xùn)練的信號(hào)，帶來(lái)的本質(zhì)變化是：模型不再學(xué)習(xí)“指令 → 動(dòng)作”這樣一個(gè)反應(yīng)式、靜態(tài)的對(duì)齊，而是在理解“在此事件條件下，物理世界將如何演化，我應(yīng)當(dāng)如何執(zhí)行”。這才是我們之所以把這類(lèi)模型稱為“世界模型”的真實(shí)含義。

為了將這一洞察落地，Wall-WM在架構(gòu)上做出了三條關(guān)鍵設(shè)計(jì)。

03.

先驗(yàn)保護(hù)的工程藝術(shù)

第一條設(shè)計(jì)聚焦于一個(gè)看似簡(jiǎn)單、實(shí)則棘手的命題：如何在大規(guī)模訓(xùn)練中保護(hù)從互聯(lián)網(wǎng)視頻繼承的珍貴先驗(yàn)？

Wall-WM的方案是一個(gè)層級(jí)化的、單向解耦的擴(kuò)散架構(gòu)。視覺(jué)模塊從預(yù)訓(xùn)練的Wan2.1視頻模型中繼承權(quán)重，承載著互聯(lián)網(wǎng)規(guī)模下的視覺(jué)動(dòng)態(tài)先驗(yàn)；動(dòng)作模塊則完全零初始化，以避免在訓(xùn)練早期污染視頻塔。兩者的耦合發(fā)生在每一層的交叉注意力中——?jiǎng)幼髁髯x取視覺(jué)證據(jù)，但梯度不會(huì)回流到視頻塔的核心權(quán)重。

這一機(jī)制的本質(zhì)，是將跨模態(tài)對(duì)齊的責(zé)任從“改造先驗(yàn)”轉(zhuǎn)移到了“學(xué)習(xí)耦合”。視覺(jué)塔繼續(xù)扮演它被訓(xùn)練好的角色——一個(gè)準(zhǔn)確的視頻生成器；動(dòng)作塔則逐漸學(xué)習(xí)如何從這些視頻表征中提取控制信號(hào)。兩者之間的共享子空間，形成了一種類(lèi)似“隱式動(dòng)作表征”的存在——不需要事先猜測(cè)碼本的大小，也不需要假設(shè)一個(gè)離散的動(dòng)作詞匯表，卻能在規(guī)模訓(xùn)練中同時(shí)實(shí)現(xiàn)“先驗(yàn)穩(wěn)定”與“控制能力增長(zhǎng)”。

這在VLA領(lǐng)域是一個(gè)不平凡的突破。因?yàn)檫@恰恰是大規(guī)模訓(xùn)練時(shí)的核心兩難：你既不想讓模型遺忘預(yù)訓(xùn)練知識(shí)，又需要它學(xué)會(huì)全新的控制能力。大多數(shù)方案只能在二者之間尋找一個(gè)不穩(wěn)定的平衡點(diǎn)。Wall-WM的單向耦合，提供了一個(gè)更優(yōu)雅的分離方案。

04.

讓跨視角注意力學(xué)會(huì)幾何

第二條設(shè)計(jì)同樣體現(xiàn)了這一思路——WALL-WM的幾何感知多視角融合。

在真實(shí)的機(jī)器人部署中，多相機(jī)是標(biāo)配，通常包括一個(gè)頂視的廣角視野和兩個(gè)腕部的精細(xì)視角。但樸素的跨視角注意力有一個(gè)本能的退化傾向，它會(huì)在所有可能的位置上尋找關(guān)聯(lián)，因此很容易淪為一種“通用特征混合器”，學(xué)習(xí)的是一般的視覺(jué)相關(guān)性而非真正的幾何對(duì)應(yīng)。

Wall-WM提出了一對(duì)互補(bǔ)的掩碼機(jī)制來(lái)解決這個(gè)問(wèn)題：視錐掩碼與管狀掩碼。

視錐掩碼從相機(jī)標(biāo)定參數(shù)中推算出每個(gè)空間點(diǎn)的可見(jiàn)范圍，兩個(gè)視角間只有存在三維空間交集時(shí)才允許注意力通過(guò)。這是從拓?fù)鋵用妗案嬖V”模型哪些關(guān)聯(lián)在物理上可能成立。然而，僅僅指明通路是不夠的——模型完全可能更偏好單視角內(nèi)的時(shí)間線索，從而讓跨視角通路閑置。

于是第二重機(jī)制介入：管狀掩碼隨機(jī)抹去某一視角中某個(gè)時(shí)空“管道”內(nèi)的所有像素，強(qiáng)迫模型去其他視角中尋找重建所需的信息。如果條件側(cè)也被一起抹去，通往單視角重建的捷徑就被徹底關(guān)閉，跨視角注意力成了唯一解。

兩種掩碼互補(bǔ)而成的一個(gè)巧妙的力學(xué)結(jié)構(gòu)是：視錐掩碼決定了注意力“可以往哪里去”，而管狀掩碼則逼迫它“必須去那里”。于是跨視角注意力從訓(xùn)練中一個(gè)“可有可無(wú)的潛在能力”，被鍛造為“被頻繁使用的幾何對(duì)應(yīng)原語(yǔ)”。這套機(jī)制配合一個(gè)無(wú)需標(biāo)定、可直接學(xué)習(xí)的Camera RoPE位置編碼，讓多視角融合在大規(guī)模多本體訓(xùn)練中變得天然可擴(kuò)展。

05.

保留可解釋性的推理加速

視覺(jué)-語(yǔ)言-行動(dòng)任務(wù)中，思維鏈推理可以顯著提升決策質(zhì)量。但逐token自回歸解碼的低效讓它難以適應(yīng)機(jī)器人所需的實(shí)時(shí)性。主流的妥協(xié)方案是將思維鏈壓縮為連續(xù)的潛在向量以換取速度，犧牲的恰恰是推理過(guò)程的可解釋性。當(dāng)機(jī)器人做出錯(cuò)誤決策時(shí)，你再也看不到它在“想”什么。

Wall-WM的Staircase CoT Decoding（階梯式思維鏈解碼）在這個(gè)兩難之間打開(kāi)了一條中間通道。

其核心思路是，將VLM的所有層分為低層和高層兩段。思維鏈序列的第一個(gè)token完整穿越底層，生成一個(gè)“接力狀態(tài)”；后續(xù)所有token跳過(guò)冗余的底層計(jì)算，直接從這一狀態(tài)出發(fā)，在高層并行展開(kāi)。這將解碼成本從與token數(shù)線性相關(guān)的O(K·L)削減到O(N+K(L-N))。加速的同時(shí)，輸出的仍然是真實(shí)的、可讀的思維鏈文本，凍結(jié)的語(yǔ)言模型可以完整還原推理路徑，使得可解釋性與實(shí)時(shí)性不必二選一。

06.

一個(gè)底座，兩種存在形態(tài)

值得注意的是，Wall-WM在同一套權(quán)重上支持兩種部署模式。

在事件模式下，它接受“下一個(gè)事件”的自然語(yǔ)言描述，輸出變長(zhǎng)的、事件對(duì)齊的動(dòng)作塊。這適合上游已有規(guī)劃器、任務(wù)可被拆解為清晰子事件的場(chǎng)景，一次預(yù)測(cè)恰好對(duì)應(yīng)一個(gè)完整的動(dòng)作單元。在統(tǒng)一模式下，VLM配合階梯式思維鏈解碼在線產(chǎn)生中間推理，以固定長(zhǎng)度動(dòng)作塊為條件輸出。適合沒(méi)有外部規(guī)劃器、需要恒定控制頻率的端到端實(shí)時(shí)部署。

兩種模式可在執(zhí)行過(guò)程中以動(dòng)作塊為粒度自由切換，無(wú)需任何重訓(xùn)練。這意味著同一個(gè)模型，既可以作為底層執(zhí)行器配合高層規(guī)劃，也可以脫離規(guī)劃器獨(dú)立運(yùn)行完整閉環(huán)。這種部署柔性在真實(shí)生產(chǎn)場(chǎng)景中的價(jià)值，可能不亞于核心算法的突破本身。

實(shí)驗(yàn)數(shù)據(jù)：大規(guī)模真機(jī)泛化最佳

Wall-WM的架構(gòu)創(chuàng)新最終落實(shí)為一系列可量化的性能突破，在具身視頻生成、3D感知和真機(jī)操作基準(zhǔn)上均展現(xiàn)出領(lǐng)先水平。

在具身視頻生成任務(wù)上，Wall-WM相比Wan2.1和Wan2.2，在運(yùn)動(dòng)質(zhì)量、語(yǔ)義一致性和物理合理性三個(gè)具身關(guān)鍵維度上全面領(lǐng)先，證明事件級(jí)預(yù)測(cè)不僅能生成更流暢的視覺(jué)軌跡，也能更忠實(shí)地反映物理交互的因果邏輯。

3D感知能力通過(guò)CO3Dv2基準(zhǔn)進(jìn)行評(píng)測(cè)，Wall-WM在點(diǎn)誤差和深度誤差兩項(xiàng)指標(biāo)上均優(yōu)于WAN2.1-14B、Open-Sora 2.0、V-JEPA和DINOv2，驗(yàn)證了幾何感知多視角融合與掩碼機(jī)制對(duì)于空間理解的有效提升。

在最關(guān)鍵的真機(jī)Core15 L1基準(zhǔn)上，Wall-WM覆蓋基礎(chǔ)任務(wù)、推理任務(wù)、靈巧操作和泛化場(chǎng)景，其任務(wù)完成分?jǐn)?shù)均顯著超過(guò)π0.5與DreamZero。在抽象指令設(shè)定下，Wall-WM更是當(dāng)前完成度最高的L1模型之一，表明模型在真實(shí)世界中具備穩(wěn)定的事件級(jí)理解和執(zhí)行能力，而非僅在受控條件下表現(xiàn)出色。

07.

結(jié)語(yǔ)

從RT-2到OpenVLA，從π0到GR00T N1，過(guò)去兩年VLA的演進(jìn)在很大程度上是沿著“更大的數(shù)據(jù)、更廣的語(yǔ)義覆蓋、更快的推理”這條主線展開(kāi)的。這條路線成果斐然，但也暴露了結(jié)構(gòu)性的瓶頸：底座VLM在訓(xùn)練過(guò)程中對(duì)視覺(jué)-動(dòng)作對(duì)應(yīng)關(guān)系的建模始終是反應(yīng)式的、基于固定時(shí)間窗口的。

Wall-WM在這個(gè)演進(jìn)路線上提出了一種范式層面的分叉。它不是在做又一個(gè)“跑分更高”的VLA，而是在追問(wèn)一個(gè)更根本的問(wèn)題：一個(gè)真正面向物理世界的世界模型，究竟應(yīng)該以什么作為其認(rèn)知和預(yù)測(cè)的基本單位？

它的答案是事件。那些有因果邊界的、可被語(yǔ)言描述、可被視頻記錄、可被動(dòng)作執(zhí)行的物理片段。這既不是對(duì)現(xiàn)有路線的否定，也不是概念跳躍。它更像是將人類(lèi)與物理世界交互的自然粒度工程化為可訓(xùn)練的模型架構(gòu)與數(shù)據(jù)協(xié)議。

而在通往這個(gè)答案的路上，它留下了一系列對(duì)于整個(gè)具身智能社區(qū)有參考價(jià)值的工具化思考：如何用單向耦合保護(hù)預(yù)訓(xùn)練先驗(yàn)；如何用幾何掩碼將“可選的”注意力機(jī)制錘煉為“必需的”感知原語(yǔ)；如何在加速推理的同時(shí)保留可解釋性。這些問(wèn)題的提出和解答，或許比任何一個(gè)單一的榜單排名都更能標(biāo)記這個(gè)領(lǐng)域的進(jìn)展。

當(dāng)世界模型學(xué)會(huì)以“事件”而不是“時(shí)鐘”來(lái)丈量時(shí)間時(shí)，機(jī)器理解物理世界的粒度，第一次被調(diào)整到了與人類(lèi)直覺(jué)相呼應(yīng)的頻率上。

GitHub：

https://github.com/X-Square-Robot/wall-x

項(xiàng)目主頁(yè)：

https://x2robot.com/pages/wm