research

? 一家相機公司的 AI 研究院，比很多大模型公司人還多

?「天空有多遠」和「杯子有多遠」，對算法來說完全是兩個問題

? 全景賽道太小了，不開源只有自己在玩

以上內(nèi)容，來自我和影石 AI 研究院 Gavin 的對話

做全景相機的影石Insta360，最近把 4 篇頂會論文的核心算法 全部開源 了

DAP｜CVPR 2026

全景深度預(yù)測，純視覺，一張圖量距離

AirSim360｜CVPR 2026

全景仿真平臺，單日百萬幀，成本 20 塊

DiT360｜CVPR 2026

全景文生圖，輸入文字生成 360 度全景圖

DDGS｜ICLR 2026

稀疏視角 3D 高斯?jié)姙R重建

影石，年營收近百億，在全景相機領(lǐng)域市占率66%，連續(xù)八年全球第一

不為人知的是，他們還有個數(shù)百人的 AI 研究院，比許多頭部大模型公司還大

Insta360 全景相機

一家相機公司，攢下了稀缺的空間數(shù)據(jù)

以下內(nèi)容，來自我和 Gavin 的對話，在影石，他是研究院總監(jiān)、董事會成員，這些工作都由他負責統(tǒng)籌和指導(dǎo)

同時，Gavin 是 TPAMI 編委，之前在字節(jié)跳動帶視頻生成大模型的數(shù)據(jù)基建。聊完之后我才明白，論文只是切面，真正有意思的是影石手里的數(shù)據(jù)

全景數(shù)據(jù)的空間密碼

我問 Gavin，全景數(shù)據(jù)和普通照片到底有什么本質(zhì)區(qū)別

他跟我說：很不一樣

用手機拍一張照片，它是一個固定視角的平面投影。畫面邊緣之外的世界對模型來說完全未知。它輸出一個深度值，對不對，誰也不知道，沒有任何物理約束能去校驗它

全景圖完全不同，記錄的是完整的 360 度空間信息。全景圖的最左邊和最右邊在物理上一定是無縫拼接的，每一幀全景數(shù)據(jù)都自帶一個閉環(huán)的數(shù)學校驗：模型產(chǎn)出的空間信息如果不滿足這個幾何閉合條件，數(shù)據(jù)系統(tǒng)本身就會報錯

自校驗?zāi)芰?，普通照片不具?/p>

Gavin 把這個特性總結(jié)為：「全景數(shù)據(jù)，自帶物理閉環(huán)的幾何約束」

訓練空間 AI 的時候，不需要額外的人工標注，數(shù)據(jù)本身就在約束模型的行為。對于任何在做具身智能、自動駕駛、空間計算的團隊來說，這種數(shù)據(jù)天然帶著一層「防幻覺」機制

這就是影石十年全景數(shù)據(jù)的真正價值。不只是量大，而是每一幀數(shù)據(jù)都自帶結(jié)構(gòu)化的空間信息和內(nèi)建的校驗機制

十年的全景數(shù)據(jù)

影石做了十年全景相機，積累了海量的全景空間數(shù)據(jù)。光是為 DAP 這個深度預(yù)測任務(wù)，經(jīng)過數(shù)據(jù)清洗和場景平衡后篩出來的有效訓練集，就有 200 萬張。

此前，學術(shù)界最大的全景深度數(shù)據(jù)集就幾萬張

影石從十年前就在持續(xù)積累全景空間數(shù)據(jù)，早在 2020 年就用 3D 全景相機和貝殼找房合作采集室內(nèi)空間數(shù)據(jù)

對此，Gavin 表示：在全景空間數(shù)據(jù)的積累上，影石在全球范圍內(nèi)應(yīng)該是最大的

DAP 的訓練數(shù)據(jù)來源三塊：公開數(shù)據(jù)集、用自研仿真平臺 AirSim360 生成的 9 萬幀合成戶外數(shù)據(jù)（覆蓋紐約、舊金山、羅馬等 5 個城市場景）、以及從互聯(lián)網(wǎng)采集的 170 萬張真實全景圖。注意，這 170 萬張圖沒有深度標注，靠一套三階段的偽標簽流水線自動生成 ground truth

一張全景圖，算出每個像素的距離。零樣本，全球第一

一張圖量距離，不需要激光雷達。對做空間感知的人來說，硬件成本從幾千塊的 LiDAR 模組降到一顆全景鏡頭。這個成本差異是量級的

不用激光雷達

我去讀了 DAP 的論文，發(fā)現(xiàn)了一件有意思的事：影石做深度預(yù)測用的是純視覺方案，不用激光雷達。只需要一張全景圖，就能算出每個像素的距離

DAP (Depth Any Panoramas)CVPR 2026

通過這個全景深度預(yù)測基礎(chǔ)模型，只需要一張全景圖，就能算出畫面中每個物體的距離，精確到像素。純視覺方案，不用激光雷達。用 200 萬級數(shù)據(jù)訓練，零樣本深度預(yù)測全球第一

為什么走這條路？Gavin 說參考的是特斯拉 FSD 的思路。特斯拉用 Data Scaling Law 證明了：數(shù)據(jù)夠多的時候，純視覺可以解決絕大部分問題。影石手里有全世界最大的全景數(shù)據(jù)集，走純視覺在數(shù)據(jù)量上有天然優(yōu)勢

局限也有，大面積透明玻璃、純白色墻面，純視覺確實抓瞎。影石的做法是在無人機上配 ToF 傳感器做輔助，動態(tài)權(quán)重算法在不同場景下調(diào)整依賴程度。絕大部分場景純視覺覆蓋，極端情況傳感器兜底

影石最終想做的產(chǎn)品是一臺「完全自主的跟拍攝影師」，或者說：Cameraman

在這個過程中，設(shè)備不需要人操控，自己看懂空間、自己避障、自己構(gòu)圖、自己用電影感的運鏡方式拍攝。這條路線的終局和自動駕駛是同一個邏輯：傳感器只是補充，數(shù)據(jù)規(guī)模才是壁壘

這個判斷對所有在純視覺和多傳感器融合之間做選擇的團隊都有參考價值。核心問題永遠是：有沒有足夠規(guī)模的數(shù)據(jù)，來喂純視覺方案

那 10% 的 Gap

影石做了一個仿真平臺 AirSim360，能在虛幻引擎 5 里原生渲染全景數(shù)據(jù)，單日產(chǎn)出 100 萬幀，成本 20 塊錢。官方說減少約 90% 的戶外實飛。我問 Gavin，那剩下的 10% 呢？

AirSim360CVPR 2026

這是一個全景無人機仿真平臺，借由虛幻5引擎，在其中搭建城市、山林等虛擬環(huán)境，接入真實飛控板做飛行訓練。自動生成深度、語義、實體等多層標注，不需要人工標注

那剩下的 10% 卡在哪？Gavin 說是真實世界里不可預(yù)測的物理噪聲。高速運動時的湍流、圖傳信號丟包、鏡頭震動導(dǎo)致的動態(tài)虛焦，這些在虛幻引擎里沒法完美建模。只能在真實世界里飛，炸一次機收集一次數(shù)據(jù)

然后我們聊到了室內(nèi)和室外的區(qū)別，當然，這個話題跟我自己有關(guān)。我在同時裝修兩個幾百平的酒吧，正在把它們做成數(shù)字孿生，計劃讓具身智能的機器人在虛擬環(huán)境里訓練完直接來店里上班。做的過程中發(fā)現(xiàn)，室內(nèi)的全景數(shù)據(jù)和戶外的完全是兩套處理邏輯

「因為天空的距離是不一樣的」

室外天空是無限遠的，算法設(shè)定一個無窮遠就行。但在室內(nèi)，最遠距離就是天花板和墻壁

「天空有多遠」和「杯子有多遠」在深度幾何約束上完全是兩個概念。這也是很多深度預(yù)測模型只能做室內(nèi)或者只能做室外的原因

對所有做室內(nèi)具身智能的團隊來說，這是一個繞不開的基礎(chǔ)問題。DAP 在論文里做到了室內(nèi)外統(tǒng)一的深度預(yù)測，但 AirSim360 仿真平臺目前只覆蓋了城市和戶外。Gavin 說內(nèi)部已經(jīng)在做室內(nèi)空間的探索，包括無人機和機器人在多層建筑里自主穿梭的課題

影石現(xiàn)在也在和一些具身智能團隊合作，用定制化的全景設(shè)備給機器人當「眼睛」。360 度無死角，不用來回轉(zhuǎn)頭

做數(shù)字孿生還有一個繞不開的問題：怎么從幾張照片，還原出完整的三維空間？

拍的角度越少，重建就越快、成本越低，但質(zhì)量也越難保證。影石的另一篇論文 DDGS 就在解決這個問題，而全景數(shù)據(jù)天然的全視角覆蓋，讓「少拍幾張」變得可行

DDGSICLR 2026

通過這項算法，只需要少量不同角度拍攝的照片，就能還原出可以自由旋轉(zhuǎn)查看的 3D 場景。全景相機一張圖覆蓋 360 度，天然減少了所需的拍攝次數(shù)

暖手寶問題

論文做出來了，但要塞進一顆運動相機的芯片，是另一回事。影石做的是消費級硬件，芯片算力和功耗被極度限制

Gavin 舉了個例子，目標追蹤領(lǐng)域效果最好的是 Meta 的 SAM 系列，追蹤什么物體都很準。但想放到影石的相機芯片上，底層硬件根本不支持 SAM 的某些網(wǎng)絡(luò)結(jié)構(gòu)和算子

更致命的是散熱。相機體積太小，大模型跑起來發(fā)熱控制不住

「總不能把運動相機做成暖手寶」

所以影石的算法團隊做的事情，本質(zhì)上是把學術(shù)界的大模型用裁剪、蒸餾和量化硬塞進消費級芯片。但問題還不止于此：由于全景數(shù)據(jù)的幾何畸變特性，通用學術(shù)模型的適配程度本身就不高，即使能跑進硬件，算法模型也要重新開發(fā)。這是為什么必須從底層自研，團隊需要數(shù)百人

這個問題不只是影石的。任何想把 AI 做進終端硬件的公司都面對同樣的約束：云端可以堆卡，終端沒這個條件。算力不夠的時候，算法設(shè)計本身就要為硬件讓路。影石在這件事上積累的經(jīng)驗，對所有做端側(cè) AI 的團隊都有參考價值

為什么開源

全景在 AI 領(lǐng)域還是一個很小的分支。影石占了全球 66% 份額，但整個賽道的體量有限。不開源，這個賽道就只有影石一家在玩

Gavin 說把底層技術(shù)開源，是希望學術(shù)界和工業(yè)界先用起來。用起來之后能反哺很多影石自己看不到的應(yīng)用場景。一個人把蛋糕做不大，但基建鋪好了，別人進來，蛋糕才能變大

創(chuàng)始人劉靖康最近在上海一場黑客松上做了一件有意思的事。影石每年 1024 程序員節(jié)有個內(nèi)部傳統(tǒng)：給最優(yōu)秀的工程師發(fā)純金打造的鍵帽，回車鍵或者空格鍵，大約 30 克純金。這次劉靖康第一次把黃金鍵帽發(fā)給了外部的獲勝開發(fā)者，希望拿到鍵帽的人把它們拼在一起，拼出一個詞：NO BUG

NO BUG，用純金拼出來的

以及，對在做空間 AI 的開發(fā)者來說，影石這次開源的東西中還有一個值得一看：DiT 360，代碼和權(quán)重都放在了 GitHub 上

DiT360CVPR 2026

輸入一段文字描述，就能生成一張完整的 360 度全景圖。生成的圖在邊緣能無縫拼接，保持幾何結(jié)構(gòu)的一致性，同時支持對已有全景圖做局部修改和擴展

聊到最后，Gavin 說了他對未來三年的押注：把感知和生成統(tǒng)一到一個全景基座模型里。三年后，設(shè)備放飛，完全自主地看懂空間、避障、構(gòu)圖、拍攝。他管這個叫「完全自主的超級跟拍師」

然后他提到：最近在研究怎么讓無人機在室內(nèi)自主爬樓梯

我說：我的新酒吧正好有樓梯，到時候留一段給你測試

關(guān)于 Gavin

Gavin（亓魯），90 后，2024 年加入影石。長期擔任 NeurIPS、ICML、ICLR、ICCV、CVPR 領(lǐng)域主席，AI 2000 全球人工智能學者，Google Scholar 引用 16000+

最后，感謝 Gavin 和影石研究院團隊的坦誠分享

影石 AI 研究院開源項目

https://github.com/Insta360-Research-Team

DAP 在線 Demo

https://huggingface.co/spaces/Insta360-Research/DAP

DiT360 在線 Demo

https://huggingface.co/spaces/Insta360-Research/DiT360

AirSim360 論文

https://arxiv.org/abs/2512.02009

DAP 論文

https://arxiv.org/abs/2512.16913

DiT360 論文

https://arxiv.org/abs/2510.11712