在音樂術(shù)語中，Legato（連音）意味著音符之間平滑過渡、毫無間斷，演奏出流暢優(yōu)美的旋律。鋼琴家的手指在琴鍵上滑動，小提琴家的弓在琴弦上連貫運行 —— 這種 "連音" 技巧讓音樂充滿生命力。一位真正掌握連音技巧的演奏者，不需要靠后期剪輯來彌補(bǔ)斷點，而是能夠知道如何讓每一個音符自然地流向下一個。

機(jī)器人領(lǐng)域同樣在追求這樣的 "連音" 效果：讓機(jī)器人的動作像音樂一樣流暢自然，沒有猶豫和停頓。然而，要讓一臺機(jī)器人真正做到這一點，遠(yuǎn)比想象中困難。

近日，千尋智能高陽團(tuán)隊的研究成果 《Learning Native Continuation for Action Chunking Flow Policies》 被機(jī)器人頂會 RSS 2026 接收！這項工作從訓(xùn)練機(jī)制出發(fā)，讓機(jī)器人動作天然具有連續(xù)性，實現(xiàn)了 "連音" 般的流暢執(zhí)行，在五個真實世界操作任務(wù)上超越了現(xiàn)有方法，為具身智能領(lǐng)域的動作生成研究提供了新的思路。

• 論文標(biāo)題：Learning Native Continuation for Action Chunking Flow Policies
• 論文鏈接：https://arxiv.org/pdf/2602.12978
• 項目主頁：https://lyfeng001.github.io/Legato/

1. 機(jī)器人為什么會 "猶豫"？

想象一下，你讓機(jī)器人倒水、疊碗或折毛巾，它卻在執(zhí)行過程中頻繁停頓、猶豫不決，甚至突然改變主意 —— 比如原本計劃用左手抓取物體，執(zhí)行到一半?yún)s又想換成右手，結(jié)果兩只手都沒抓到，白白浪費了時間。這種 "猶豫" 不僅讓動作看起來別扭，還會直接拖慢任務(wù)完成的速度，在需要精準(zhǔn)配合的場景下甚至?xí)?dǎo)致任務(wù)失敗。

這背后的根源，要從當(dāng)前主流的機(jī)器人基礎(chǔ)模型的動作建模方式說起。

1.1 動作分塊：一把雙刃劍

目前，主流的 Vision Language Action（VLA）模型普遍采用一種叫做 "動作分塊"（Action Chunking）的技術(shù)：機(jī)器人不是每次只規(guī)劃下一個動作，而是一口氣規(guī)劃出未來一段時間（比如接下來 1 秒）的完整動作序列，然后依次執(zhí)行。這樣做有兩個明顯的好處：

• 動作更連貫，因為模型能看到更長時間范圍內(nèi)的規(guī)劃；
• 推理效率更高，不需要每個單獨的時間步的動作都調(diào)用一次模型。

但問題也隨之而來：每當(dāng)一段動作序列執(zhí)行完畢、下一段序列接上來的時候，兩段序列之間往往存在明顯的不連續(xù)性。就像兩段錄音硬拼在一起，接縫處總會有一個突兀的 "斷點"—— 機(jī)器人會在這個瞬間出現(xiàn)停頓、抖動，甚至方向突變。這個問題在需要高頻控制的精細(xì)操作任務(wù)中尤為明顯。

更深層的原因在于，基于流匹配（Flow Matching）的 VLA 模型本身具有多模態(tài)性 —— 面對同一個場景，模型可能規(guī)劃出多種合理的動作方案（比如用左手或右手抓取）。當(dāng)兩段動作序列獨立生成時，前一段選擇了方案 A，后一段卻可能選擇了方案 B，兩者在接縫處發(fā)生 "模態(tài)切換"，導(dǎo)致機(jī)器人的動作出現(xiàn)突兀的跳變。

這種現(xiàn)象在任務(wù)中途尤為危險：機(jī)器人已經(jīng)伸出了左手，卻在下一個動作塊里突然決定改用右手，不僅動作難看，還可能直接碰倒目標(biāo)物體。

1.2 RTC 的修補(bǔ)

為了解決這個問題，研究者們提出了Real-Time Chunking（RTC）方法。它的思路是：在生成新的動作序列時，把上一段序列末尾還沒執(zhí)行完的部分 "借" 過來，用來引導(dǎo)下一個序列的生成，通過讓下一個序列的前半部分和上一個序列沒有執(zhí)行的部分比較像，來保證兩段序列之間的平滑過渡。

這個方法具有非常好的效果，也因此得到了廣泛應(yīng)用?？梢园阉斫鉃橐环N "接力棒傳遞" 的機(jī)制：新的動作序列不是憑空開始，而是從上一段序列的后半部分 "接棒" 繼續(xù)。

然而，這個方法實際上存在一些不可避免的缺陷：

• 推理階段 RTC：連續(xù)性機(jī)制只在推理時臨時 "打補(bǔ)丁"，模型在訓(xùn)練時從未見過這種情況。訓(xùn)練和推理的條件不一致，就像一個學(xué)生平時練習(xí)的題型和考試題型完全不同 —— 模型在推理時面對 "部分已知的前綴" 時，并不知道該如何正確利用這些信息，容易產(chǎn)生 "虛假的多模態(tài)切換"，也就是機(jī)器人在執(zhí)行過程中突然 "改變主意"。
• 訓(xùn)練階段 RTC：雖然在訓(xùn)練時也引入了這種拼接機(jī)制，但做法是直接把前綴片段硬拼接到執(zhí)行部分的前面，并將這部分固定、不再更新。這樣一來，前綴和后續(xù)動作之間依然缺乏有機(jī)聯(lián)系：模型只是被告知 "前面這段是固定的，你只需要生成后面的部分"。

兩種方式都沒有從根本上解決問題：連續(xù)性是從外部強(qiáng)加給模型的，而不是模型自己學(xué)會的。這就好比一個演奏者不是真正掌握了連音技巧，而是靠后期剪輯把兩段錄音拼在一起 —— 聽起來勉強(qiáng)過得去，但終究缺少那種渾然天成的流暢感。

2. Legato 的解決方案

讓連續(xù)性成為模型的 "天賦"

Legato 的核心思想可以用一句話概括：與其在推理時給模型 "打補(bǔ)丁"，不如在訓(xùn)練時就讓模型學(xué)會如何天然地生成連續(xù)的動作。

這個思路的轉(zhuǎn)變看似簡單，實現(xiàn)起來卻需要解決兩個關(guān)鍵問題：

• 第一，如何在訓(xùn)練時讓模型真正 "看到" 并學(xué)會利用已知的前綴信息；
• 第二，如何確保訓(xùn)練時學(xué)到的行為和推理時實際執(zhí)行的行為完全一致，不出現(xiàn) "雙重標(biāo)準(zhǔn)"。

Legato 通過四個精心設(shè)計的機(jī)制，系統(tǒng)性地解決了這兩個問題。一個直覺上的類比是：我們希望機(jī)器人就像一位經(jīng)驗豐富的接力跑運動員：不僅知道自己該跑哪一段，還清楚地知道上一棒跑到了哪里、速度是多少，并據(jù)此調(diào)整自己起跑的節(jié)奏，而不是每次都從靜止?fàn)顟B(tài)重新出發(fā)。

2.1 噪聲-真實值混合機(jī)制

在標(biāo)準(zhǔn)的流匹配（Flow Matching）訓(xùn)練中，模型每次都是從完全隨機(jī)的噪聲出發(fā)，通過多步去噪，最終生成完整的動作序列。這就好比讓一個學(xué)生每次都從一張白紙開始作答 —— 他永遠(yuǎn)不知道 "如果已經(jīng)寫了一半，接下來該怎么寫"。長此以往，模型只會從零開始規(guī)劃，一旦推理時被要求 "接著已有的動作繼續(xù)"，就會手足無措。

Legato 改變了這一點，它引入了引導(dǎo)向量ω∈[0,1]^H，用來控制每個時間步的初始狀態(tài)，將訓(xùn)練時的起點從 "純噪聲" 變成 "噪聲與真實動作的混合"：

• 對于已經(jīng)執(zhí)行過的前綴部分（ω=1）：初始狀態(tài)直接就是真實動作，模型知道 "這里已經(jīng)發(fā)生了什么"，需要在此基礎(chǔ)上繼續(xù)規(guī)劃
• 對于需要自由預(yù)測的未來部分（ω=0）：初始狀態(tài)是純噪聲，模型需要完全自主規(guī)劃
• 對于中間的過渡區(qū)域（0<ω<1）：初始狀態(tài)是真實動作和噪聲的混合，引導(dǎo)強(qiáng)度從強(qiáng)到弱逐漸減弱，形成平滑的過渡

用公式表達(dá)就是：

其中 A 是真實動作，ε 是噪聲，⊙ 表示逐元素相乘。通過這種設(shè)計，模型在訓(xùn)練時就能反復(fù)練習(xí) "如何從部分已知的狀態(tài)出發(fā)，生成流暢的后續(xù)動作"，而不是每次都從零開始。久而久之，模型自然就學(xué)會了如何利用已知的前綴信息：這種能力是從訓(xùn)練中內(nèi)化的，而不是推理時臨時拼湊的。

2.2 逐步引導(dǎo)的去噪動力學(xué)

僅僅改變初始狀態(tài)還不夠。研究團(tuán)隊發(fā)現(xiàn)了一個重要現(xiàn)象：如果只在初始化時引入引導(dǎo)，隨著去噪步驟的推進(jìn)，模型會逐漸 "忘記" 已知的前綴信息。就像一個人在嘈雜的環(huán)境中試圖記住一段旋律，時間越長，記憶就越模糊，最終生成的動作仍然可能偏離預(yù)期。

研究團(tuán)隊通過實驗驗證了這一點：單次引導(dǎo)（one-shot guidance）在去噪過程中確實無法維持對前綴的約束，前綴區(qū)域的動作會隨著去噪步驟的推進(jìn)逐漸漂移。

為了解決這個問題，Legato 在每一步去噪前都進(jìn)行混合，而不是只在初始化時：

這就像給模型裝了一個 "記憶錨"：無論去噪進(jìn)行到哪一步，模型都會被不斷提醒 "前綴是什么樣的"，并圍繞這個約束來規(guī)劃后續(xù)動作。這種逐步引導(dǎo)的機(jī)制，使得前綴區(qū)、過渡區(qū)和自由生成區(qū)形成一個統(tǒng)一、連貫的動力學(xué)系統(tǒng)，而不是三段割裂的拼接。

2.3 訓(xùn)練-推理一致性

問題在于：推理時，模型在每一步去噪前都會進(jìn)行真實值和噪聲的混合（即上面的逐步引導(dǎo)）；但訓(xùn)練時，標(biāo)準(zhǔn)流匹配的優(yōu)化目標(biāo)是針對 "從純噪聲出發(fā)的去噪過程" 設(shè)計的，并沒有考慮這種逐步引導(dǎo)的存在。所以如果不針對訓(xùn)練目標(biāo)進(jìn)行調(diào)整，訓(xùn)練的目標(biāo)即標(biāo)準(zhǔn)流匹配與實際執(zhí)行的動力學(xué)實際上是不一致的。

Legato 的解決方案：重新推導(dǎo)訓(xùn)練目標(biāo)，使其與逐步引導(dǎo)的推理動力學(xué)完全對齊。具體來說，研究團(tuán)隊從逐步引導(dǎo)的動力學(xué)方程出發(fā)，反推出了一個新的速度場訓(xùn)練目標(biāo)：

這個公式的妙處在于：它保留了標(biāo)準(zhǔn)流匹配的幾何方向（即 "朝著真實動作運動" 的大方向不變），只是根據(jù)引導(dǎo)強(qiáng)度 κ 調(diào)整了速度的大小。換句話說，Legato 并沒有顛覆流匹配的基本框架，而是在其基礎(chǔ)上做了一個精準(zhǔn)的 "校準(zhǔn)"—— 讓訓(xùn)練時學(xué)到的速度場，與推理時逐步引導(dǎo)所產(chǎn)生的有效速度場完全吻合。

這樣一來，訓(xùn)練和推理之間的 "雙重標(biāo)準(zhǔn)" 被徹底消除，模型在推理時的行為完全符合它訓(xùn)練時學(xué)到的規(guī)律。

2.4 隨機(jī)化混合參數(shù)

在真實部署中，不同的硬件平臺推理速度不同（高端 GPU 和邊緣計算設(shè)備的延遲可能相差數(shù)倍），不同的任務(wù)對動作流暢度的要求也不同（精細(xì)操作需要更強(qiáng)的連續(xù)性，而快速移動任務(wù)則更注重響應(yīng)速度）。如果每換一個場景就要重新訓(xùn)練一個模型，代價太高，也不現(xiàn)實。

Legato 的解決方案是：在訓(xùn)練時對混合參數(shù) (d,r) 進(jìn)行隨機(jī)化，讓模型在訓(xùn)練階段就見識各種不同的引導(dǎo)向量：

• d（推理延遲）：控制前綴的長度，對應(yīng)不同硬件平臺的計算速度。d 越大，說明推理延遲越高，需要 "借用" 的前綴越長
• r（過渡區(qū)長度）：控制從強(qiáng)引導(dǎo)到弱引導(dǎo)的過渡速度，決定動作的流暢程度。r 越大，過渡越平緩，動作越流暢；r 越小，過渡越陡峭，模型響應(yīng)越靈敏

通過在訓(xùn)練時讓模型見識各種不同的 (d, r) 組合，同一個模型在推理時只需要調(diào)整這兩個參數(shù)，就能適配不同的硬件延遲和流暢度需求，無需重新訓(xùn)練。這大大降低了 Legato 在實際部署中的門檻。同時，由于模型在訓(xùn)練時已經(jīng)見過各種調(diào)度情況，推理時的行為也更加穩(wěn)定魯棒，不會因為參數(shù)的細(xì)微變化而出現(xiàn)大幅波動。

3. 實驗結(jié)果

研究團(tuán)隊在雙臂機(jī)器人上進(jìn)行了廣泛的真實世界實驗，涵蓋五個操作任務(wù)：疊碗、倒東西、拾取放置、疊毛巾、開抽屜。這些任務(wù)的選取頗具代表性：它們不僅覆蓋了旋轉(zhuǎn)主導(dǎo)、平移主導(dǎo)等多樣的運動模式，還包含了大量需要在多個選項中做出選擇的場景 —— 比如疊碗時選擇抓哪個碗、拾取放置時決定用左手還是右手。

這類多模態(tài)選擇場景，正是最容易觸發(fā) "虛假多模態(tài)切換" 的地方，也是檢驗連續(xù)性方法的最佳試金石。

3.1 基本實驗結(jié)果

實驗結(jié)果表明，Legato 相對于 RTC 以及 Training-Time RTC 均有一定的優(yōu)勢：

• 猶豫明顯減少：機(jī)器人在執(zhí)行過程中的停頓和 "改變主意" 現(xiàn)象大幅降低，動作軌跡更加干凈利落。從軌跡圖上可以直觀地看到，Legato 的執(zhí)行曲線更加平滑，而 RTC 的曲線則呈現(xiàn)出明顯的鋸齒狀波動，這些波動正是機(jī)器人在兩種動作方案之間反復(fù)橫跳的痕跡
• 任務(wù)完成時間縮短：在五個任務(wù)上平均縮短約 10%，在倒東西等高度依賴連續(xù)性的任務(wù)上提升尤為突出，最高提升幅度超過 20%
• 軌跡平滑性顯著提升：以 NSPARC 指標(biāo)衡量，平均提升約 10%，部分任務(wù)（如倒東西）提升幅度超過 40%

更多的消融實驗、仿真測試以及詳細(xì)分析可參考原文。

3.2 實際部署使用指南

研究發(fā)現(xiàn)，在 d=delay, s=0.5H, r=H-d-s 的參數(shù)設(shè)置下，模型的表現(xiàn)較好。其中 H 是動作序列的總長度，d 對應(yīng)實際的推理延遲，s 是每個序列執(zhí)行的步數(shù)，r 則是過渡區(qū)的長度。這個參數(shù)設(shè)置在大多數(shù)任務(wù)和硬件平臺上都能取得不錯的效果，可以作為部署時的默認(rèn)配置。

與此同時，該研究推薦在一個標(biāo)準(zhǔn) flow matching 訓(xùn)練至較好的 base model 基礎(chǔ)上進(jìn)行 Legato 的 finetune，會獲得更好的模型表現(xiàn)。

4. 總結(jié)

Legato 提出了一種讓流匹配策略天然具備連續(xù)性的訓(xùn)練方法，從根本上解決了動作分塊策略中長期存在的連續(xù)性問題。它的核心貢獻(xiàn)在于：

1. 原生連續(xù)性：讓模型從訓(xùn)練階段就學(xué)會如何從 "部分已知的動作" 出發(fā)生成后續(xù)動作，連續(xù)性是模型內(nèi)化的能力，而不是推理時外部修補(bǔ)的結(jié)果
2. 訓(xùn)練-推理一致性：通過重塑速度場，從數(shù)學(xué)上保證訓(xùn)練和推理的動力學(xué)完全對齊，從根本上消除虛假多模態(tài)切換，而不是用更強(qiáng)的約束去壓制它
3. 靈活可控：通過隨機(jī)化混合參數(shù)，一個模型即可適配不同硬件延遲和流暢度需求，大幅降低實際部署的門檻

Legato 讓機(jī)器人的動作真正像音樂中的連音一樣：不是兩段錄音的生硬拼接，而是演奏者發(fā)自內(nèi)心、渾然天成的流暢表達(dá)。隨著具身智能走向更廣泛的真實世界應(yīng)用，這種 "天然流暢" 的能力，將成為機(jī)器人部署時流暢執(zhí)行運動不可或缺的條件。

希望 Legato 這篇工作能夠為具身智能社區(qū)帶來新的啟發(fā)，推動機(jī)器人操作技術(shù)邁向更高的水平。