Canvas-to-Image 是一個面向組合式圖像創作的全新框架。它取消了傳統「分散控制」的流程，將身份參考圖、空間布局、姿態線稿等不同類型的控制信息全部整合在同一個畫布中。用戶在畫布上放置或繪制的內容，會被模型直接解釋為生成指令，簡化了圖像生成過程中的控制流程。

• 作者：Yusuf Dalva, Guocheng Gordon Qian*, Maya Goldenberg, Tsai-Shien Chen, Kfir Aberman, Sergey Tulyakov, Pinar Yanardag, Kuan-Chieh Jackson Wang
• 通訊作者：Guocheng Gordon Qian
• 機構：1Snap Inc. 2UC Merced 3Virginia Tech
• 論文標題：Canvas-to-Image: Compositional Image Generation with Multimodal Controls
• 項目主頁：https://snap-research.github.io/canvas-to-image/
• arXiv：arxiv.org/abs/2511.21691

為什么要把控制方式合并到一張畫布上？

在以往的生成流程中，身份參考、姿態線稿、布局框等控制方式往往被設計成互不相干的獨立輸入路徑

例如：

• 身份控制需要貼一張獨立的參考圖；
• 姿態控制依賴單獨的骨架圖；
• 空間布局要再通過另一個模塊或附加輸入傳給模型。

這些控制信號分別從不同通道進入模型，各自擁有獨立的編碼方式與預處理邏輯。結果就是：用戶無法在畫面的同一位置疊加多種控制信息，也無法用「一個局部區域里的組合提示」來告訴模型該怎么生成。

換句話說，傳統方法的輸入結構是多入口、分散式的，缺乏統一的表達空間。這使得復雜場景的構建流程變得冗長且割裂，用戶只能一次提供一種控制，無法在同一個圖像區域上同時表達身份 + 姿態 + 位置等組合指令。

Canvas-to-Image 正是針對這一結構性限制提出新的方案：所有控制信號都匯聚到同一張畫布中，由模型在同一個像素空間內理解、組合并執行。

核心方法論

(a) 多任務畫布（Multi-Task Canvas）

Canvas-to-Image 設計的關鍵在于——畫布本身既是 UI，也是模型的輸入。畫布中可以出現：

• 一小塊真實人物的圖像，用于指定人物；
• 一組簡單的骨架線條，用來調節肢體姿勢；
• 框選區域，用來定義人物或物體應處的位置。

這些異構視覺符號中包含的空間關系、語義信息，都由 VLM-Diffusion（基于 Qwen-Image-Edit）直接解析。

在訓練過程中，Canvas-to-Image 的多任務畫布從跨幀圖像集（cross-frame image sets）中自動生成。具體流程如下：

• 隨機選取一幀作為目標圖像。
• 從其他幀中抽取目標幀所需要不同的視覺元素（人物片段，背景，姿態結構，框選區域等）。
• 將抽取的視覺元素，按照目標幀中的相應位置，擺放在輸入畫布中。

這樣的跨幀采樣策略會在輸入畫布中自然引入姿態、光照、表情等方面的顯著差異，使得輸入提示與目標圖像之間不存在可直接復用的像素對應關系。由此，模型無法依賴簡單的拷貝機制來完成訓練任務，而必須學習更抽象的語義關聯與結構映射。這一設計在訓練階段有效規避了「抄輸入」的捷徑，從根本上避免了模型在推理階段出現 copy-paste 式的生成行為。

為了保持訓練的簡潔性，在每一次訓練中，模型只會接收到一種隨機選定的控制模態（例如空間布局、姿態骨架或邊界框）。這樣可以讓模型分別學會獨立理解不同類型的控制提示，并在推理階段自然實現多控制的組合能力。

(b) 多控制推理

在推理階段，Canvas-to-Image 允許用戶在同一張畫布上靈活組合多種控制模態，例如同時提供身份參考區域、姿態骨架以及空間布局框，從而實現復雜的多控制場景生成。與傳統「單一路徑控制」的方案不同，用戶無需在不同模塊之間切換或分階段注入條件，而是通過統一畫布一次性給出所有約束信號。

從學習機制上看，模型在訓練過程中僅接觸到單一控制模態的樣本：每個訓練樣本只隨機激活其中一種控制形式（身份、姿態或位置），使模型分別掌握對單獨控制信號的理解與對齊能力。值得注意的是，即便在數據中并不存在顯式標注的「多模態組合控制」樣本，模型在推理階段仍然能夠在統一畫布中同時解析并整合多種控制信號：它會在身份參考的約束下保持人物外觀一致性，在姿態骨架約束下生成結構合理的姿態，并在布局框條件下遵循全局空間排布。

這一現象表明，模型在統一畫布表示的框架下，學到的并不是對某一種控制模態的簡單記憶，而是對「畫布上局部區域與目標圖像結構之間關系」的更高層次建模能力。換言之，模型在僅依賴單模態訓練的前提下，仍然展現出對未見過控制組合的泛化能力：在推理中面對新的、復雜的多控制配置時，依然能夠生成結構一致、外觀可信且各控制信號相互兼容的高質量結果。這也從實驗角度驗證了統一畫布設計在提升組合式可控生成能力方面的有效性。

實驗結果

多控制組合（Multi-Control Composition）

Canvas-to-Image 能夠同時處理身份、姿態和布局框，而基線方法往往會失敗。Canvas-to-Image 能：

• 遵循畫布中給定的姿態與空間約束；
• 保持人物外觀與參考圖一致；
• 在多種控制疊加時維持整體畫面的連貫性與合理性。

身份 + 物體組合

當畫布中同時包含人物提示和物體提示時，Canvas-to-Image 不會把兩者當作獨立元素簡單并置。模型能夠理解兩者之間應有的空間與語義關系，因而會生成具有自然接觸、合理互動的場景。

此外，在多種控制疊加的情況下，Canvas-to-Image 仍能保持：

• 人物外觀與參考圖一致；
• 物體的形狀、材質和語義保持穩定；
• 人物與物體之間的空間一致性與幾何邏輯不被破壞。

因此即便在復雜的組合控制設置下，生成的畫面也能呈現出連貫、可信的互動效果，而不是常見的「貼圖式合成感」。

多層次場景：前景 + 背景

在給定一張背景圖的情況下，Canvas-to-Image 可以通過放置參考圖或標注邊界框的方式，將人物或物體自然地融入場景。模型會根據畫布中的提示自動調整空間關系，使插入元素在位置、光照和整體氛圍上與背景保持一致，呈現近乎原生的融合效果。

消融研究

我們系統地測試了當逐步添加控制時模型的表現：

• 僅身份控制：模型能生成人物，但姿態和位置隨機；
• + 姿態控制：模型學會同時控制身份和姿態；
• + 空間布局：模型能完全控制身份、姿態和位置。

關鍵發現：雖然訓練時使用單任務畫布，但模型自然學會了在推理時組合多種控制——這種涌現能力驗證了我們的設計理念。

總結

Canvas-to-Image 的核心價值是把多模態的生成控制方式全部圖形化，讓復雜場景的構建回歸到最直觀的方式：在畫布上擺放、畫、框，就能讓模型生成對應的結構化、真實感強的畫面。統一畫布 + 多模態控制的范式，將有望成為下一代創作工具的基礎界面形態。