亚洲中文字幕乱码亚洲-蜜桃成熟视频在线观看-免费中文字幕视频在线-中国五十路熟妇洗澡视频-亚洲av伊人啪啪c-国产精品成人一区二区-国产自拍视频一区在线观看-成人一区不卡二区三区四区-亚洲情精品中文字幕99在线

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

北大團(tuán)隊(duì)提出CPL++框架,實(shí)現(xiàn)視覺定位模型的自知之明和自我糾錯

0
分享至



本文是北京大學(xué)彭宇新教授團(tuán)隊(duì)在視覺定位方向的最新研究成果,相關(guān)論文已被頂級國際期刊 IEEE TPAMI 接收。為視覺定位模型賦予「自知之明」能力 —— 通過自監(jiān)督的關(guān)聯(lián)校正與驗(yàn)證模塊,在訓(xùn)練過程中動態(tài)識別、衰減并糾正錯誤的監(jiān)督信號。大量實(shí)驗(yàn)證明,讓模型學(xué)會「自我糾錯」,是突破弱監(jiān)督視覺定位瓶頸的有效途徑。



  • 論文標(biāo)題:Confidence-aware Pseudo-label Self-Correction for Weakly Supervised Visual Grounding
  • 論文鏈接:https://ieeexplore.ieee.org/document/11433810/
  • 開源代碼:https://github.com/oceanflowlab/CPL
  • 實(shí)驗(yàn)室網(wǎng)址:http://mipl.pku.edu.cn

背景與動機(jī)

視覺定位(Visual Grounding)旨在根據(jù)自然語言查詢準(zhǔn)確定位圖像中的目標(biāo)區(qū)域。然而,全監(jiān)督方法嚴(yán)重依賴密集的「圖像 - 文本 - 物體框」細(xì)粒度標(biāo)注,這在處理大規(guī)模復(fù)雜場景時面臨巨大的標(biāo)注成本挑戰(zhàn)。因此,僅利用「圖像 - 文本」進(jìn)行訓(xùn)練的弱監(jiān)督視覺定位受到了廣泛關(guān)注。

現(xiàn)有弱監(jiān)督方法通常將該任務(wù)視為一個目標(biāo)檢索過程,依賴跨模態(tài)匹配分?jǐn)?shù)或重構(gòu)損失來挑選候選區(qū)域。但語言描述的高層抽象概念與圖像區(qū)域的像素級特征之間存在著巨大的「異構(gòu)鴻溝」,這使得跨模態(tài)匹配往往極不可靠。模型在訓(xùn)練中一旦學(xué)到了這些錯誤的「偽關(guān)聯(lián)」,就會陷入錯誤傳播和累積的死循環(huán)。此前的無監(jiān)督方法嘗試用模板生成偽查詢,但生成的句子生硬且缺乏多樣性,同樣忽略了錯誤關(guān)聯(lián)對模型的嚴(yán)重影響。

針對這一難題,北京大學(xué)彭宇新教授團(tuán)隊(duì)提出了置信度感知的偽標(biāo)簽學(xué)習(xí)框架(CPL)及其進(jìn)階版 CPL++,通過引入大模型生成多樣化描述,并結(jié)合「自監(jiān)督關(guān)聯(lián)驗(yàn)證」機(jī)制,讓模型在訓(xùn)練過程中學(xué)會動態(tài)發(fā)現(xiàn)并糾正自己的錯誤,實(shí)現(xiàn)弱監(jiān)督視覺定位性能的提升。

技術(shù)方案

本文提出的 CPL 框架不僅能過濾錯誤的區(qū)域 - 文本關(guān)聯(lián),更能利用模型自身在訓(xùn)練中不斷增強(qiáng)的定位能力,動態(tài)地「糾正」這些錯誤標(biāo)簽。其核心亮點(diǎn)包含以下幾個方面:



圖 1. 置信度感知的偽標(biāo)簽學(xué)習(xí)框架 CPL

1. 高質(zhì)量偽查詢生成與單模態(tài)匹配

由于跨模態(tài)匹配的困難,本文轉(zhuǎn)換思路,利用單模態(tài)內(nèi)的匹配構(gòu)造偽標(biāo)簽。如上圖所示,CPL 框架提出了三條互補(bǔ)的生成管線(啟發(fā)式增強(qiáng) Heuristic+、以對象為中心描述 Object-Centric、以關(guān)系為中心描述 Relation-Aware),為圖像中的每個候選區(qū)域生成描述性強(qiáng)、真實(shí)且多樣化的偽查詢文本。隨后,模型在文本特征空間內(nèi)計(jì)算真實(shí)查詢與偽查詢之間的單模態(tài)相似度,挑選最匹配的區(qū)域作為初始偽標(biāo)簽,從而避開了跨模態(tài)對齊帶來的挑戰(zhàn)。

2. 靜態(tài)跨模態(tài)驗(yàn)證模塊



雖然 CPL 取得了顯著效果,但其驗(yàn)證模塊是孤立于定位模型之外的「靜態(tài)」評估,不僅無法在訓(xùn)練中動態(tài)發(fā)揮作用,更缺乏對錯誤關(guān)聯(lián)的「糾正」機(jī)制。為此,研究團(tuán)隊(duì)進(jìn)一步擴(kuò)展得到 CPL++ 框架,在以下核心方面進(jìn)行了自監(jiān)督升級。



圖 2. 置信度感知的偽標(biāo)簽學(xué)習(xí)框架的進(jìn)階版本 CPL++

3. 自監(jiān)督關(guān)聯(lián)校正與動態(tài)偽標(biāo)簽優(yōu)化

為了糾正錯誤的「區(qū)域 - 查詢」關(guān)聯(lián),CPL++ 進(jìn)一步引入了自監(jiān)督關(guān)聯(lián)校正模塊。首先,模型不僅僅依賴檢測器的置信度,而是結(jié)合了查詢文本中的類別、屬性和空間關(guān)系,構(gòu)建了一個高質(zhì)量的語義感知候選池。其綜合評分函數(shù)定義為:



該評估函數(shù)綜合性地結(jié)合了查詢文本和候選區(qū)域在類別、屬性、空間關(guān)系上的匹配程度,并結(jié)合檢測器的置信度,對「區(qū)域 - 查詢」偽標(biāo)簽提供了全面、可靠的評估手段,用于發(fā)現(xiàn)可能錯誤的「區(qū)域 - 查詢」關(guān)聯(lián),過濾得到高質(zhì)量的偽查詢候選池,用于訓(xùn)練模型。





4. 自監(jiān)督關(guān)聯(lián)驗(yàn)證





這種自監(jiān)督驗(yàn)證機(jī)制巧妙融合了強(qiáng)大的靜態(tài)預(yù)訓(xùn)練模型的先驗(yàn)知識與不斷動態(tài)進(jìn)化的定位模型的能力,降低了誤差傳播的風(fēng)險(xiǎn)。

實(shí)驗(yàn)結(jié)果

本文在弱監(jiān)督視覺定位領(lǐng)域的五大數(shù)據(jù)集(RefCOCO、RefCOCO+、RefCOCOg、ReferItGame、Flickr30K Entities)上進(jìn)行了全面評估。

CPL 基礎(chǔ)框架在這五個數(shù)據(jù)集的測試集上超越現(xiàn)有的弱監(jiān)督與無監(jiān)督方法。具備自糾錯能力的 CPL++ 框架在 CPL 的基礎(chǔ)上進(jìn)一步實(shí)現(xiàn)了 2.78%、5.81%、1.08%、2.03% 和 2.55% 的絕對性能提升。CPL++ 框架將弱監(jiān)督方法與全監(jiān)督方法之間的性能差距縮小,展現(xiàn)了偽標(biāo)簽自校正機(jī)制的巨大潛力。



表 1:RefCOCO、RefCOCO+、RefCOCOg 數(shù)據(jù)集結(jié)果



表 2:ReferItGame、Flickr30K Entities 數(shù)據(jù)集結(jié)果

為了進(jìn)一步直觀展示模型生成偽標(biāo)簽的實(shí)際效果,圖 3 中給出了偽標(biāo)簽的可視化結(jié)果,可以看出,CPL 能夠?yàn)閳D像候選區(qū)域生成描述準(zhǔn)確、句式豐富且包含復(fù)雜交互關(guān)系的高質(zhì)量偽查詢,提供了高度互補(bǔ)的多樣化監(jiān)督信息。此外,圖 4 展示了自監(jiān)督關(guān)聯(lián)校正模塊的動態(tài)糾錯全過程:從圖 4(a)中最初建立的初步偽查詢關(guān)聯(lián),到圖 4(b)中經(jīng)過單模態(tài)匹配后可能產(chǎn)生的偏差關(guān)聯(lián),最終在校正模塊的干預(yù)下,圖 4(c)中模型的預(yù)測框被成功糾正并精準(zhǔn)鎖定到了與圖 4(d)中的真實(shí)文本完全對應(yīng)的正確目標(biāo)區(qū)域上。這些案例證明了 CPL++ 框架在動態(tài)識別并修正錯誤監(jiān)督信號方面的強(qiáng)大能力。



圖 3:CPL 框架偽標(biāo)簽可視化



圖 4:CPL++ 框架自監(jiān)督關(guān)聯(lián)校正可視化

總結(jié)

本文提出了一種弱監(jiān)督視覺定位框架 CPL++ 。該框架不僅通過單模態(tài)匹配建立了更可靠的初始區(qū)域 - 文本關(guān)聯(lián),更重要的是,它為模型賦予了「自知之明」能力 —— 通過自監(jiān)督的關(guān)聯(lián)校正與驗(yàn)證模塊,在訓(xùn)練過程中動態(tài)識別、衰減并糾正錯誤的監(jiān)督信號。大量實(shí)驗(yàn)證明,讓模型學(xué)會「自我糾錯」,是突破弱監(jiān)督視覺定位瓶頸的有效途徑。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
別以為他們只會玩!明日開始這3個生肖賺錢嘎嘎猛,注定不窮

別以為他們只會玩!明日開始這3個生肖賺錢嘎嘎猛,注定不窮

毅談生肖
2026-04-19 11:43:00
1975年施密特訪華刁難毛主席,主席回答一句話,卻成為歐美噩夢

1975年施密特訪華刁難毛主席,主席回答一句話,卻成為歐美噩夢

顧史
2026-03-17 15:23:33
哥倫比亞總統(tǒng):美國若一意孤行將激起拉美國家“反抗”

哥倫比亞總統(tǒng):美國若一意孤行將激起拉美國家“反抗”

財(cái)聯(lián)社
2026-04-19 09:28:11
誰都沒想到,40天的伊朗戰(zhàn)爭,讓我國國運(yùn)大爆發(fā)了

誰都沒想到,40天的伊朗戰(zhàn)爭,讓我國國運(yùn)大爆發(fā)了

農(nóng)夫史記
2026-04-17 20:06:56
警告三次不如動真格一次!中國下達(dá)逐客令,巴拿馬的反應(yīng)出乎意料

警告三次不如動真格一次!中國下達(dá)逐客令,巴拿馬的反應(yīng)出乎意料

共工之錨
2026-04-19 00:10:58
震驚!兒媳失業(yè)近一年,每天只買菜做飯,河南婆婆吐槽勸兒子離婚

震驚!兒媳失業(yè)近一年,每天只買菜做飯,河南婆婆吐槽勸兒子離婚

火山詩話
2026-04-19 09:20:26
封鎖伊朗石油出口,特朗普指給中國兩條死路,王毅不接招換賽道

封鎖伊朗石油出口,特朗普指給中國兩條死路,王毅不接招換賽道

心靈的創(chuàng)傷
2026-04-19 09:56:43
起義成功后,陳勝為何要?dú)⒌魠菑V?毛主席評價說:陳勝有二“誤”

起義成功后,陳勝為何要?dú)⒌魠菑V?毛主席評價說:陳勝有二“誤”

掠影后有感
2026-04-19 10:01:44
菜雞互啄!火箭更爛!詹姆斯助攻創(chuàng)紀(jì)錄,艾頓爆發(fā),肯納德成奇兵

菜雞互啄!火箭更爛!詹姆斯助攻創(chuàng)紀(jì)錄,艾頓爆發(fā),肯納德成奇兵

Tracy的籃球博物館
2026-04-19 11:32:26
騎士滅猛龍總分1-0:米切爾32分創(chuàng)歷史第一 哈登22+10總分超伯德

騎士滅猛龍總分1-0:米切爾32分創(chuàng)歷史第一 哈登22+10總分超伯德

醉臥浮生
2026-04-19 05:47:13
“看面相就很蠢!”五年級女孩對媽媽大吼滾出去,網(wǎng)友都看不下去

“看面相就很蠢!”五年級女孩對媽媽大吼滾出去,網(wǎng)友都看不下去

世界圈
2026-04-09 00:10:11
福建一男子拋下妻女去世,15年后妻子不顧家人反對,當(dāng)場強(qiáng)行開棺

福建一男子拋下妻女去世,15年后妻子不顧家人反對,當(dāng)場強(qiáng)行開棺

紅豆講堂
2024-09-04 12:45:03
章澤天背帆布包看展,她沒戴耳飾,她的耳唇很寬厚,面相很有福氣

章澤天背帆布包看展,她沒戴耳飾,她的耳唇很寬厚,面相很有福氣

悅君兮君不知
2026-04-18 12:52:20
48小時內(nèi),俄美伊都對中國提了一個要求,都認(rèn)為中國會給他們面子

48小時內(nèi),俄美伊都對中國提了一個要求,都認(rèn)為中國會給他們面子

阿腩講娛樂
2026-04-19 09:48:45
蔣介石臨終前痛哭:放過一個仇人,錯殺一個忠臣,愛上一個錯的女人

蔣介石臨終前痛哭:放過一個仇人,錯殺一個忠臣,愛上一個錯的女人

寄史言志
2026-03-21 17:17:05
前阿里財(cái)務(wù)總監(jiān)爆火言論:普通家庭買車是最蠢的動作!評論炸鍋

前阿里財(cái)務(wù)總監(jiān)爆火言論:普通家庭買車是最蠢的動作!評論炸鍋

許三歲
2026-04-10 09:31:44
到底得有多壞,才能做出這么喪盡天良的事!

到底得有多壞,才能做出這么喪盡天良的事!

胖胖說他不胖
2026-04-19 09:00:30
15年掏心掏肺的帶孫女,上海阿姨索要36萬帶孫費(fèi),法院這樣判!

15年掏心掏肺的帶孫女,上海阿姨索要36萬帶孫費(fèi),法院這樣判!

今朝牛馬
2026-04-17 20:54:56
家里老人快自查!1992年前干過這4類工作,養(yǎng)老金能多領(lǐng)一大筆

家里老人快自查!1992年前干過這4類工作,養(yǎng)老金能多領(lǐng)一大筆

白淺娛樂聊
2026-04-19 11:06:36
特朗普怒了!美以內(nèi)訌,徹底爆發(fā)炸了!

特朗普怒了!美以內(nèi)訌,徹底爆發(fā)炸了!

大嘴說天下
2026-04-18 22:38:23
2026-04-19 12:24:49
機(jī)器之心Pro incentive-icons
機(jī)器之心Pro
專業(yè)的人工智能媒體
12792文章數(shù) 142632關(guān)注度
往期回顧 全部

科技要聞

50分26秒破人類紀(jì)錄!300臺機(jī)器人狂飆半馬

頭條要聞

牛彈琴:伊朗遭到特朗普"羞辱"被激怒 結(jié)果印度遭了殃

頭條要聞

牛彈琴:伊朗遭到特朗普"羞辱"被激怒 結(jié)果印度遭了殃

體育要聞

掘金擒狼開門紅:五花肉與小辣椒

娛樂要聞

張?zhí)鞇墼u論區(qū)淪陷!被曝卷入小三風(fēng)波

財(cái)經(jīng)要聞

華誼兄弟,8年虧光85億

汽車要聞

29分鐘大定破萬 極氪8X為什么這么多人買?

態(tài)度原創(chuàng)

房產(chǎn)
親子
教育
手機(jī)
軍事航空

房產(chǎn)要聞

官宣簽約最強(qiáng)城更!海口樓市,突然殺入神秘房企!

親子要聞

孩子總?cè)嘌劬φQ劬Γ皇抢Я耍?/h3>

教育要聞

出國留學(xué)的人多少回國了?

手機(jī)要聞

OPPO Find X9s Pro核心參數(shù)提前解析,賣多少錢合適呢?

軍事要聞

伊朗宣布關(guān)閉霍爾木茲海峽

無障礙瀏覽 進(jìn)入關(guān)懷版