對(duì)于水下機(jī)器人來(lái)說(shuō)，渾濁的海水就像一堵看不見(jiàn)的墻。

當(dāng)機(jī)器人降落到海底，或在沙地里進(jìn)行挖掘、抓取等操作時(shí)，螺旋槳和機(jī)械臂很容易攪起大量泥沙。短短幾秒鐘內(nèi)，原本清晰的視野就會(huì)變成一片渾濁，攝像頭幾乎什么也看不見(jiàn)。很多時(shí)候，機(jī)器人只能停在原地，等泥沙慢慢沉降后再繼續(xù)工作。

這聽(tīng)起來(lái)似乎不是什么大問(wèn)題，但在一些場(chǎng)景中：例如水下排爆、深海打撈、海底設(shè)施巡檢等，這種等待不僅會(huì)拖慢機(jī)器人的作業(yè)效率，更會(huì)增加額外的成本和風(fēng)險(xiǎn)。因?yàn)闄C(jī)器人如果無(wú)法及時(shí)判斷周?chē)h(huán)境，可能發(fā)生激烈碰撞或誤操作。

這個(gè)問(wèn)題在最近迎來(lái)了進(jìn)展：美國(guó)麻省理工學(xué)院與伍茲霍爾海洋研究所（Woods Hole Oceanographic Institution，WHOI）的工程師合作開(kāi)發(fā)了一套名為 Sonar-MASt3R 的水下測(cè)繪系統(tǒng)，能夠?qū)⒙晠葌鞲衅鞯穆晫W(xué)數(shù)據(jù)與光學(xué)攝像頭的視覺(jué)圖像融合在一起，使水下機(jī)器人在低能見(jiàn)度的渾濁水域中也能實(shí)時(shí)生成精細(xì)的三維地圖。

該研究由 MIT 航空航天系研究生 Amy Phung 主導(dǎo)，與 WHOI 應(yīng)用海洋物理與工程領(lǐng)域的資深科學(xué)家 Richard Camilli 合著。目前已在 ICRA 上正式發(fā)表并入選最佳論文候選名單。

圖｜Amy Phung（來(lái)源：WHOI）

據(jù)研究團(tuán)隊(duì)透露，推動(dòng)這項(xiàng)研究的重要出發(fā)點(diǎn)之一，就是水下未爆彈藥的清除。許多歷史遺留爆炸物埋藏在近岸海域的沉積物中，不僅影響航運(yùn)安全，也給海洋工程帶來(lái)風(fēng)險(xiǎn)。

長(zhǎng)期以來(lái)，水下感知技術(shù)在兩種方案之間權(quán)衡。一個(gè)是光學(xué)攝像頭，另一個(gè)是聲吶。前者能夠提供豐富的紋理、顏色和細(xì)節(jié)信息，但對(duì)環(huán)境要求極高。一旦進(jìn)入深海、夜間環(huán)境，或是被泥沙和沉積物遮蔽的區(qū)域，相機(jī)獲取的信息便會(huì)急劇下降。相比之下，聲吶幾乎不受水體渾濁程度影響，它通過(guò)發(fā)射聲波并分析回波來(lái)測(cè)量目標(biāo)的距離、輪廓和深度，即使在完全看不見(jiàn)的環(huán)境中也能工作。

但聲吶也有自己的局限性。它擅長(zhǎng)回答“那里有什么”，卻很難回答“那到底是什么”的問(wèn)題。相比真實(shí)圖像，聲吶生成的結(jié)果像是一幅缺少紋理與色彩的地形圖，只能勾勒出目標(biāo)的大致輪廓。

因此，過(guò)去十余年里，研究人員一直試圖將視覺(jué)與聲學(xué)兩種感知方式結(jié)合起來(lái)，這一方向被稱(chēng)為“光學(xué)-聲學(xué)融合（Opti-Acoustic Fusion）”。理論上，視覺(jué)負(fù)責(zé)提供細(xì)節(jié)，聲吶負(fù)責(zé)提供距離和結(jié)構(gòu)信息，兩者結(jié)合能夠兼顧分辨率與魯棒性。

然而，真正實(shí)現(xiàn)這一目標(biāo)并不容易。此前的大多數(shù)研究主要面向目標(biāo)識(shí)別或局部場(chǎng)景重建，往往需要離線(xiàn)處理數(shù)據(jù)，難以滿(mǎn)足實(shí)時(shí)作業(yè)需求。能夠同時(shí)實(shí)現(xiàn)實(shí)時(shí)運(yùn)行、三維建圖，并適用于高渾濁水下環(huán)境的系統(tǒng)一直十分罕見(jiàn)。

但這一次，MIT 團(tuán)隊(duì)的 Sonar-MASt3R 做到了。它脫胎于一個(gè)名為 MASt3R（Matching And Stereo 3D Reconstruction，匹配與立體三維重建）的圖像匹配算法。該算法由法國(guó) Naver Labs Europe 團(tuán)隊(duì)開(kāi)發(fā)，并于 2024 年發(fā)表在歐洲計(jì)算機(jī)視覺(jué)大會(huì) ECCV 上。而 MASt3R 又建立在更早的 DUSt3R 框架之上。

（來(lái)源：Naver Labs Europe）

相比前代，MASt3R 最大的改進(jìn)是在網(wǎng)絡(luò)中增加了一個(gè)專(zhuān)門(mén)輸出稠密局部特征圖的模塊（Head），并配合快速互惠匹配算法，能夠從多張二維圖像中快速估算場(chǎng)景內(nèi)每個(gè)像素的相對(duì)深度，從而在不依賴(lài)相機(jī)位姿信息的情況下實(shí)時(shí)生成三維點(diǎn)云。

不過(guò)，MASt3R 也存在一個(gè)短板：它輸出的是相對(duì)深度，而不是絕對(duì)深度。用 Phung 的話(huà)來(lái)說(shuō)，“它會(huì)告訴你這個(gè)像素比另一個(gè)像素近 5 個(gè)單位，卻沒(méi)法告訴你這 5 個(gè)單位究竟是 5 米還是 5 英尺。”對(duì)于需要精確判斷距離、避免碰撞的水下機(jī)器人來(lái)說(shuō)，這顯然不夠。

這就是聲吶派上用場(chǎng)的地方。由于聲波傳播速度已知，聲吶可以通過(guò)回波返回時(shí)間直接計(jì)算目標(biāo)的實(shí)際距離和深度，為場(chǎng)景提供可靠的絕對(duì)尺度信息。這也成為 Phung 和 Camilli 破題的思路：既然 MASt3R 擅長(zhǎng)重建三維世界，那么就讓聲吶來(lái)補(bǔ)上它最缺失的那部分，也就是真實(shí)距離。

他們研究出的 Sonar-MASt3R 系統(tǒng)大致分為兩個(gè)階段。

首先是“聲吶掃描”。實(shí)驗(yàn)中，一臺(tái)搭載聲吶傳感器的機(jī)械臂代替真實(shí)水下載具，在水箱中緩慢完成一次橫向掃描。系統(tǒng)根據(jù)收集到的聲學(xué)數(shù)據(jù)，快速生成環(huán)境的粗略三維輪廓圖。這張地圖雖然缺乏視覺(jué)細(xì)節(jié)，卻擁有準(zhǔn)確的空間尺度信息：哪里有巨石、哪里有箱體、它們距離機(jī)器人多遠(yuǎn)，都能夠被標(biāo)注出來(lái)。

隨后進(jìn)入第二階段，“光學(xué)抵近”。機(jī)器人根據(jù)聲吶地圖判斷目標(biāo)位置，安全地向目標(biāo)靠近。當(dāng)距離足夠近時(shí)，水下攝像頭開(kāi)始采集高分辨率圖像，并將其送入改進(jìn)后的 MASt3R 管線(xiàn)進(jìn)行處理。

為了保證實(shí)時(shí)性，系統(tǒng)采用了一種“關(guān)鍵幀”策略。每一幀新圖像都會(huì)與上一關(guān)鍵幀進(jìn)行比較，如果包含新的環(huán)境信息，就被納入地圖；如果內(nèi)容變化不大，則直接丟棄。這樣既減少了冗余計(jì)算，也讓整個(gè)建圖過(guò)程能夠持續(xù)實(shí)時(shí)運(yùn)行。

為了驗(yàn)證這一思路是否有效，研究團(tuán)隊(duì)在 WHOI 的水箱設(shè)施中搭建了一套可控實(shí)驗(yàn)環(huán)境。研究人員在水箱中放置了一塊小型巖石、一個(gè)咖啡杯和一個(gè)包裝箱等目標(biāo)物體，并通過(guò)不斷攪動(dòng)沉積物，制造出 8 種不同程度的渾濁環(huán)境。結(jié)果顯示，在所有濁度條件下，Sonar-MASt3R 的三維建圖精度和分辨率都優(yōu)于此前的光學(xué)-聲學(xué)融合方法，能夠識(shí)別厘米級(jí)別的細(xì)節(jié)。

（來(lái)源：論文）

結(jié)果顯示，即便是在最極端的渾濁條件下，此時(shí)光學(xué)攝像頭已經(jīng)幾乎完全失效，聲吶仍然能夠勾勒出隱藏物體的大致輪廓。這張粗略地圖足以引導(dǎo)機(jī)械臂穿過(guò)渾濁水域，安全接近目標(biāo)，再利用近距離拍攝獲得清晰的視覺(jué)信息。

Camilli 用了一個(gè)比喻來(lái)解釋這個(gè)實(shí)驗(yàn)的難度：“這就像讓你走進(jìn)一間漆黑的瓷器店，要在不打碎任何東西的情況下，找到一個(gè)特定的杯子。”

有趣的是，研究團(tuán)隊(duì)認(rèn)為，他們驗(yàn)證算法的水箱環(huán)境其實(shí)比真實(shí)海洋更加苛刻。在封閉水箱中，聲波會(huì)不斷在四壁之間反射，產(chǎn)生大量混響、畸變和“鬼影”，就像在一個(gè)巨大的回聲室里工作。

這些額外信號(hào)會(huì)讓聲吶數(shù)據(jù)變得更加復(fù)雜。而在開(kāi)放海域中，聲波能夠向更遠(yuǎn)處擴(kuò)散，多徑反射反而會(huì)少得多。如果 Sonar-MASt3R 能夠在這種“困難模式”下穩(wěn)定運(yùn)行，那么進(jìn)入真實(shí)海洋后，它的表現(xiàn)理論上只會(huì)更好。

不過(guò)，Sonar-MASt3R 距離真正的大規(guī)模應(yīng)用，還有很長(zhǎng)的路要走。接下來(lái)，Phung 團(tuán)隊(duì)計(jì)劃將系統(tǒng)帶出實(shí)驗(yàn)室，在真實(shí)水域開(kāi)展進(jìn)一步測(cè)試，讓它經(jīng)歷復(fù)雜海況、洋流干擾以及長(zhǎng)時(shí)間連續(xù)運(yùn)行的考驗(yàn)。

1.https://news.mit.edu/2026/new-imaging-system-sees-through-murky-waters-0611#main

2.https://europe.naverlabs.com/blog/mast3r-matching-and-stereo-3d-reconstruction/

3.https://dspace.mit.edu/entities/publication/46d5fb92-afff-4f32-9cd4-16d988b2271d

運(yùn)營(yíng)/排版：何晨龍

注：封面/首圖由 AI 輔助生成