![]()
本文是北京大學(xué)彭宇新教授團(tuán)隊(duì)在視覺定位方向的最新研究成果,相關(guān)論文已被頂級國際期刊 IEEE TPAMI 接收。為視覺定位模型賦予「自知之明」能力 —— 通過自監(jiān)督的關(guān)聯(lián)校正與驗(yàn)證模塊,在訓(xùn)練過程中動態(tài)識別、衰減并糾正錯誤的監(jiān)督信號。大量實(shí)驗(yàn)證明,讓模型學(xué)會「自我糾錯」,是突破弱監(jiān)督視覺定位瓶頸的有效途徑。
![]()
- 論文標(biāo)題:Confidence-aware Pseudo-label Self-Correction for Weakly Supervised Visual Grounding
- 論文鏈接:https://ieeexplore.ieee.org/document/11433810/
- 開源代碼:https://github.com/oceanflowlab/CPL
- 實(shí)驗(yàn)室網(wǎng)址:http://mipl.pku.edu.cn
背景與動機(jī)
視覺定位(Visual Grounding)旨在根據(jù)自然語言查詢準(zhǔn)確定位圖像中的目標(biāo)區(qū)域。然而,全監(jiān)督方法嚴(yán)重依賴密集的「圖像 - 文本 - 物體框」細(xì)粒度標(biāo)注,這在處理大規(guī)模復(fù)雜場景時面臨巨大的標(biāo)注成本挑戰(zhàn)。因此,僅利用「圖像 - 文本」進(jìn)行訓(xùn)練的弱監(jiān)督視覺定位受到了廣泛關(guān)注。
現(xiàn)有弱監(jiān)督方法通常將該任務(wù)視為一個目標(biāo)檢索過程,依賴跨模態(tài)匹配分?jǐn)?shù)或重構(gòu)損失來挑選候選區(qū)域。但語言描述的高層抽象概念與圖像區(qū)域的像素級特征之間存在著巨大的「異構(gòu)鴻溝」,這使得跨模態(tài)匹配往往極不可靠。模型在訓(xùn)練中一旦學(xué)到了這些錯誤的「偽關(guān)聯(lián)」,就會陷入錯誤傳播和累積的死循環(huán)。此前的無監(jiān)督方法嘗試用模板生成偽查詢,但生成的句子生硬且缺乏多樣性,同樣忽略了錯誤關(guān)聯(lián)對模型的嚴(yán)重影響。
針對這一難題,北京大學(xué)彭宇新教授團(tuán)隊(duì)提出了置信度感知的偽標(biāo)簽學(xué)習(xí)框架(CPL)及其進(jìn)階版 CPL++,通過引入大模型生成多樣化描述,并結(jié)合「自監(jiān)督關(guān)聯(lián)驗(yàn)證」機(jī)制,讓模型在訓(xùn)練過程中學(xué)會動態(tài)發(fā)現(xiàn)并糾正自己的錯誤,實(shí)現(xiàn)弱監(jiān)督視覺定位性能的提升。
技術(shù)方案
本文提出的 CPL 框架不僅能過濾錯誤的區(qū)域 - 文本關(guān)聯(lián),更能利用模型自身在訓(xùn)練中不斷增強(qiáng)的定位能力,動態(tài)地「糾正」這些錯誤標(biāo)簽。其核心亮點(diǎn)包含以下幾個方面:
![]()
圖 1. 置信度感知的偽標(biāo)簽學(xué)習(xí)框架 CPL
1. 高質(zhì)量偽查詢生成與單模態(tài)匹配
由于跨模態(tài)匹配的困難,本文轉(zhuǎn)換思路,利用單模態(tài)內(nèi)的匹配構(gòu)造偽標(biāo)簽。如上圖所示,CPL 框架提出了三條互補(bǔ)的生成管線(啟發(fā)式增強(qiáng) Heuristic+、以對象為中心描述 Object-Centric、以關(guān)系為中心描述 Relation-Aware),為圖像中的每個候選區(qū)域生成描述性強(qiáng)、真實(shí)且多樣化的偽查詢文本。隨后,模型在文本特征空間內(nèi)計(jì)算真實(shí)查詢與偽查詢之間的單模態(tài)相似度,挑選最匹配的區(qū)域作為初始偽標(biāo)簽,從而避開了跨模態(tài)對齊帶來的挑戰(zhàn)。
2. 靜態(tài)跨模態(tài)驗(yàn)證模塊
![]()
雖然 CPL 取得了顯著效果,但其驗(yàn)證模塊是孤立于定位模型之外的「靜態(tài)」評估,不僅無法在訓(xùn)練中動態(tài)發(fā)揮作用,更缺乏對錯誤關(guān)聯(lián)的「糾正」機(jī)制。為此,研究團(tuán)隊(duì)進(jìn)一步擴(kuò)展得到 CPL++ 框架,在以下核心方面進(jìn)行了自監(jiān)督升級。
![]()
圖 2. 置信度感知的偽標(biāo)簽學(xué)習(xí)框架的進(jìn)階版本 CPL++
3. 自監(jiān)督關(guān)聯(lián)校正與動態(tài)偽標(biāo)簽優(yōu)化
為了糾正錯誤的「區(qū)域 - 查詢」關(guān)聯(lián),CPL++ 進(jìn)一步引入了自監(jiān)督關(guān)聯(lián)校正模塊。首先,模型不僅僅依賴檢測器的置信度,而是結(jié)合了查詢文本中的類別、屬性和空間關(guān)系,構(gòu)建了一個高質(zhì)量的語義感知候選池。其綜合評分函數(shù)定義為:
![]()
該評估函數(shù)綜合性地結(jié)合了查詢文本和候選區(qū)域在類別、屬性、空間關(guān)系上的匹配程度,并結(jié)合檢測器的置信度,對「區(qū)域 - 查詢」偽標(biāo)簽提供了全面、可靠的評估手段,用于發(fā)現(xiàn)可能錯誤的「區(qū)域 - 查詢」關(guān)聯(lián),過濾得到高質(zhì)量的偽查詢候選池,用于訓(xùn)練模型。
![]()
![]()
4. 自監(jiān)督關(guān)聯(lián)驗(yàn)證
![]()
![]()
這種自監(jiān)督驗(yàn)證機(jī)制巧妙融合了強(qiáng)大的靜態(tài)預(yù)訓(xùn)練模型的先驗(yàn)知識與不斷動態(tài)進(jìn)化的定位模型的能力,降低了誤差傳播的風(fēng)險(xiǎn)。
實(shí)驗(yàn)結(jié)果
本文在弱監(jiān)督視覺定位領(lǐng)域的五大數(shù)據(jù)集(RefCOCO、RefCOCO+、RefCOCOg、ReferItGame、Flickr30K Entities)上進(jìn)行了全面評估。
CPL 基礎(chǔ)框架在這五個數(shù)據(jù)集的測試集上超越現(xiàn)有的弱監(jiān)督與無監(jiān)督方法。具備自糾錯能力的 CPL++ 框架在 CPL 的基礎(chǔ)上進(jìn)一步實(shí)現(xiàn)了 2.78%、5.81%、1.08%、2.03% 和 2.55% 的絕對性能提升。CPL++ 框架將弱監(jiān)督方法與全監(jiān)督方法之間的性能差距縮小,展現(xiàn)了偽標(biāo)簽自校正機(jī)制的巨大潛力。
![]()
表 1:RefCOCO、RefCOCO+、RefCOCOg 數(shù)據(jù)集結(jié)果
![]()
表 2:ReferItGame、Flickr30K Entities 數(shù)據(jù)集結(jié)果
為了進(jìn)一步直觀展示模型生成偽標(biāo)簽的實(shí)際效果,圖 3 中給出了偽標(biāo)簽的可視化結(jié)果,可以看出,CPL 能夠?yàn)閳D像候選區(qū)域生成描述準(zhǔn)確、句式豐富且包含復(fù)雜交互關(guān)系的高質(zhì)量偽查詢,提供了高度互補(bǔ)的多樣化監(jiān)督信息。此外,圖 4 展示了自監(jiān)督關(guān)聯(lián)校正模塊的動態(tài)糾錯全過程:從圖 4(a)中最初建立的初步偽查詢關(guān)聯(lián),到圖 4(b)中經(jīng)過單模態(tài)匹配后可能產(chǎn)生的偏差關(guān)聯(lián),最終在校正模塊的干預(yù)下,圖 4(c)中模型的預(yù)測框被成功糾正并精準(zhǔn)鎖定到了與圖 4(d)中的真實(shí)文本完全對應(yīng)的正確目標(biāo)區(qū)域上。這些案例證明了 CPL++ 框架在動態(tài)識別并修正錯誤監(jiān)督信號方面的強(qiáng)大能力。
![]()
圖 3:CPL 框架偽標(biāo)簽可視化
![]()
圖 4:CPL++ 框架自監(jiān)督關(guān)聯(lián)校正可視化
總結(jié)
本文提出了一種弱監(jiān)督視覺定位框架 CPL++ 。該框架不僅通過單模態(tài)匹配建立了更可靠的初始區(qū)域 - 文本關(guān)聯(lián),更重要的是,它為模型賦予了「自知之明」能力 —— 通過自監(jiān)督的關(guān)聯(lián)校正與驗(yàn)證模塊,在訓(xùn)練過程中動態(tài)識別、衰減并糾正錯誤的監(jiān)督信號。大量實(shí)驗(yàn)證明,讓模型學(xué)會「自我糾錯」,是突破弱監(jiān)督視覺定位瓶頸的有效途徑。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.