TARA：融合生物知識(shí)與視覺(jué)特征，提升模型推理能力。

作者丨鄭佳美

編輯丨岑 峰

近年來(lái)，多模態(tài)大模型的發(fā)展正在不斷推動(dòng)視覺(jué)理解能力的提升。從圖像分類(lèi)、目標(biāo)檢測(cè)到視覺(jué)問(wèn)答等任務(wù)，視覺(jué)系統(tǒng)已經(jīng)能夠在多種場(chǎng)景中實(shí)現(xiàn)較高水平的識(shí)別和推理能力。然而，在更復(fù)雜的層級(jí)視覺(jué)識(shí)別任務(wù)中，現(xiàn)有模型仍然存在明顯不足。

現(xiàn)實(shí)世界中的許多視覺(jué)概念天然具有層級(jí)結(jié)構(gòu)，例如生物分類(lèi)體系中的“界—門(mén)—綱—目—科—屬—種”，以及商品分類(lèi)、醫(yī)學(xué)診斷等領(lǐng)域中的多層級(jí)標(biāo)簽體系。這類(lèi)任務(wù)不僅要求模型識(shí)別具體類(lèi)別，還需要理解不同類(lèi)別之間的層級(jí)關(guān)系和語(yǔ)義結(jié)構(gòu)。但目前多數(shù)視覺(jué)模型仍然基于扁平分類(lèi)框架進(jìn)行訓(xùn)練，在進(jìn)行層級(jí)預(yù)測(cè)時(shí)容易出現(xiàn)分類(lèi)路徑不一致或?qū)蛹?jí)關(guān)系沖突等問(wèn)題。

與此同時(shí)，在開(kāi)放世界環(huán)境中，視覺(jué)模型還需要具備識(shí)別未知類(lèi)別的能力。以生物識(shí)別任務(wù)為例，現(xiàn)實(shí)世界中的物種數(shù)量遠(yuǎn)遠(yuǎn)超過(guò)現(xiàn)有數(shù)據(jù)集的覆蓋范圍，新的物種仍在不斷被發(fā)現(xiàn)。

當(dāng)模型面對(duì)訓(xùn)練數(shù)據(jù)中未出現(xiàn)的類(lèi)別時(shí)，往往難以進(jìn)行合理推斷。如何利用已有知識(shí)幫助模型理解類(lèi)別之間的層級(jí)結(jié)構(gòu)，并在有限數(shù)據(jù)條件下推斷未知類(lèi)別，逐漸成為當(dāng)前視覺(jué)智能研究中的重要問(wèn)題。

在這一背景下，北大王選所的彭宇新團(tuán)隊(duì)在論文《Taxonomy-Aware Representation Alignment for Hierarchical Visual Recognition with Large Multimodal Models》中提出了一種新的方法 TARA。

他們通過(guò)引入生物基礎(chǔ)模型中的分類(lèi)學(xué)知識(shí)，并將其與多模態(tài)模型的中間表征進(jìn)行對(duì)齊，使模型能夠?qū)W習(xí)到具有層級(jí)結(jié)構(gòu)的視覺(jué)表示，從而提升模型在層級(jí)視覺(jué)識(shí)別任務(wù)中的一致性表現(xiàn)，并增強(qiáng)其在未知類(lèi)別識(shí)別任務(wù)中的泛化能力。

論文地址：https://arxiv.org/pdf/2603.00431

01

TARA 讓多模態(tài)模型更懂「層級(jí)關(guān)系」

實(shí)驗(yàn)團(tuán)隊(duì)通過(guò)在多個(gè)數(shù)據(jù)集和多種評(píng)價(jià)指標(biāo)下開(kāi)展實(shí)驗(yàn)，對(duì)提出的 TARA（Taxonomy-Aware Representation Alignment）方法在層級(jí)視覺(jué)識(shí)別任務(wù)中的有效性進(jìn)行了驗(yàn)證。

首先，在已知類(lèi)別識(shí)別能力方面，研究在 iNaturalist-2021（iNat21）數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。該數(shù)據(jù)集包含大量具有層級(jí)分類(lèi)結(jié)構(gòu)的生物圖像，并劃分為植物和動(dòng)物兩個(gè)子數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明，在引入 TARA 方法之后，模型在多個(gè)評(píng)價(jià)指標(biāo)上均獲得明顯提升。

在 iNat21-Plant 數(shù)據(jù)集上，Qwen3-VL-2B 基礎(chǔ)模型在經(jīng)過(guò)強(qiáng)化學(xué)習(xí)微調(diào)后，層級(jí)一致性準(zhǔn)確率（HCA）由 9.23% 提升到 12.78%，葉節(jié)點(diǎn)準(zhǔn)確率（Accleaf）由 31.96% 提升到 32.66%，同時(shí) POR、S-POR 和 TOR 等層級(jí)評(píng)價(jià)指標(biāo)也分別提升約 3% 至 6%。

在 iNat21-Animal 數(shù)據(jù)集上，HCA 由 8.57%提升到 10.26%，Accleaf 由 29.32% 提升到 30.77%，其他層級(jí)指標(biāo)也均呈現(xiàn)提升趨勢(shì)。對(duì)于規(guī)模更大的 Qwen2.5-VL-3B 模型，在植物數(shù)據(jù)集上的 HCA 提升至 19.53%，在動(dòng)物數(shù)據(jù)集上的 HCA 提升至 24.02%，各項(xiàng)指標(biāo)均持續(xù)提高。以上結(jié)果表明，TARA 方法能夠穩(wěn)定提升不同規(guī)模多模態(tài)模型在層級(jí)分類(lèi)任務(wù)中的整體性能。

其次，在未知類(lèi)別識(shí)別能力方面，研究團(tuán)隊(duì)為了驗(yàn)證模型是否真正學(xué)習(xí)到分類(lèi)學(xué)知識(shí)，而非僅僅記憶訓(xùn)練類(lèi)別，在 TerraIncognita 數(shù)據(jù)集上進(jìn)行了測(cè)試。該數(shù)據(jù)集包含大量稀有或未知物種圖像，其中部分物種可能從未出現(xiàn)在訓(xùn)練數(shù)據(jù)中。

實(shí)驗(yàn)結(jié)果顯示，在已知類(lèi)別場(chǎng)景下，Order F1 從 23.30 提升到 41.56，F(xiàn)amily F1 從 11.47 提升到 25.47；在未知類(lèi)別場(chǎng)景下，Order F1 從 23.30 提升到 33.45，F(xiàn)amily F1 從 11.47 提升到 12.67。這一結(jié)果表明，TARA 不僅提升了模型對(duì)已知類(lèi)別的識(shí)別能力，同時(shí)也顯著增強(qiáng)了模型在面對(duì)未知物種時(shí)的泛化能力。

再次，在模型表征能力方面，研究人員通過(guò)線(xiàn)性探針實(shí)驗(yàn)進(jìn)一步分析了 TARA 對(duì)視覺(jué)特征表達(dá)能力的影響。實(shí)驗(yàn)過(guò)程為從模型最后一層提取圖像 token 表征，并利用線(xiàn)性分類(lèi)器進(jìn)行訓(xùn)練，在 iNat21-Plant 數(shù)據(jù)集上測(cè)試分類(lèi)準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明，原始模型的分類(lèi)準(zhǔn)確率為 13.30%，加入強(qiáng)化學(xué)習(xí)后提升到 14.40%，在進(jìn)一步引入 TARA 方法之后準(zhǔn)確率提升到 18.30%。這一結(jié)果說(shuō)明 TARA 能夠幫助模型學(xué)習(xí)到更加具有判別力的視覺(jué)特征表示。

此外，在分類(lèi)型視覺(jué)問(wèn)答任務(wù)方面，研究團(tuán)隊(duì)在 ImageWikiQA 數(shù)據(jù)集上對(duì)模型性能進(jìn)行了測(cè)試。該數(shù)據(jù)集包含基于 ImageNet 圖像的復(fù)雜視覺(jué)問(wèn)答任務(wù)。實(shí)驗(yàn)結(jié)果顯示，基礎(chǔ)模型的準(zhǔn)確率為 46.60%，經(jīng)過(guò)強(qiáng)化學(xué)習(xí)微調(diào)后提升到 48.70%，在引入 TARA 方法之后進(jìn)一步提升到 51.40%。這一結(jié)果表明，通過(guò)增強(qiáng)層級(jí)視覺(jué)理解能力，可以進(jìn)一步提升模型在復(fù)雜視覺(jué)理解和推理任務(wù)中的整體表現(xiàn)。

最后，在訓(xùn)練效率方面，研究人員對(duì)模型訓(xùn)練過(guò)程中性能變化進(jìn)行了分析。實(shí)驗(yàn)結(jié)果顯示，在訓(xùn)練早期階段，引入 TARA 的模型性能已經(jīng)超過(guò)基線(xiàn)模型；在相同訓(xùn)練步數(shù)條件下，TARA 模型的 HCA 指標(biāo)和葉節(jié)點(diǎn)準(zhǔn)確率均高于未使用該方法的模型，說(shuō)明這種方法能夠加速模型的訓(xùn)練收斂過(guò)程。同時(shí)，由于 TARA 僅增加少量投影層，因此整體計(jì)算開(kāi)銷(xiāo)較小，對(duì)訓(xùn)練效率影響有限。

02

從數(shù)據(jù)到訓(xùn)練的完整實(shí)驗(yàn)框架

為了驗(yàn)證方法的有效性，研究團(tuán)隊(duì)設(shè)計(jì)了一套完整的實(shí)驗(yàn)流程，其中包括模型訓(xùn)練方案、數(shù)據(jù)集構(gòu)建方式以及評(píng)價(jià)指標(biāo)體系的設(shè)計(jì)。首先在實(shí)驗(yàn)數(shù)據(jù)集方面，研究人員選取了多個(gè)具有代表性的公開(kāi)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。

其中 iNaturalist-2021（iNat21）是一個(gè)大規(guī)模生物圖像數(shù)據(jù)集，包含完整的生物分類(lèi)體系。該數(shù)據(jù)集包含兩個(gè)子集，其中 Plant 子集包含 4271 個(gè)物種類(lèi)別，Animal 子集包含 5388 個(gè)物種類(lèi)別。數(shù)據(jù)集中每個(gè)樣本都具有六級(jí)分類(lèi)結(jié)構(gòu)，即 Kingdom、Phylum、Class、Order、Family 和 Species 六個(gè)層級(jí)，因此非常適合用于層級(jí)視覺(jué)識(shí)別研究。

除了 iNat21 數(shù)據(jù)集之外，研究團(tuán)隊(duì)還使用了 TerraIncognita 數(shù)據(jù)集來(lái)測(cè)試模型在開(kāi)放世界環(huán)境下的識(shí)別能力。該數(shù)據(jù)集包含來(lái)自中美洲和南美洲生物多樣性熱點(diǎn)地區(qū)的昆蟲(chóng)圖像，其中許多物種缺乏公開(kāi)圖像數(shù)據(jù)，并且部分物種可能尚未被科學(xué)界正式記錄，因此能夠用于評(píng)估模型在未知類(lèi)別識(shí)別任務(wù)中的表現(xiàn)。

與此同時(shí)，研究人員還使用 ImageWikiQA 數(shù)據(jù)集對(duì)模型在復(fù)雜視覺(jué)問(wèn)答任務(wù)中的表現(xiàn)進(jìn)行測(cè)試。該數(shù)據(jù)集中的問(wèn)題涉及真實(shí)世界知識(shí)，需要模型同時(shí)完成圖像理解和知識(shí)推理，從而能夠檢驗(yàn)?zāi)Ｐ驮趶?fù)雜視覺(jué)理解場(chǎng)景中的能力。

在基礎(chǔ)模型選擇方面，研究人員采用 Qwen 系列多模態(tài)模型作為實(shí)驗(yàn)基礎(chǔ)模型，包括 Qwen3-VL-2B-Instruct 和 Qwen2.5-VL-3B-Instruct 兩種模型。這些模型在零樣本視覺(jué)理解任務(wù)中表現(xiàn)良好，因此適合作為層級(jí)視覺(jué)識(shí)別研究的基礎(chǔ)模型。

在訓(xùn)練方法方面，研究團(tuán)隊(duì)將強(qiáng)化學(xué)習(xí)微調(diào)方法與 TARA 表征對(duì)齊方法結(jié)合起來(lái)進(jìn)行訓(xùn)練。首先采用 No-Thinking 強(qiáng)化學(xué)習(xí)微調(diào)策略。傳統(tǒng)強(qiáng)化學(xué)習(xí)通常要求模型在生成答案前進(jìn)行推理過(guò)程，但研究人員發(fā)現(xiàn)，在分類(lèi)任務(wù)中不進(jìn)行顯式推理反而能夠獲得更好的效果，因此訓(xùn)練過(guò)程中采用提示語(yǔ) Please directly output the answer。獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)為，如果模型預(yù)測(cè)結(jié)果正確則獎(jiǎng)勵(lì)值為 1，如果預(yù)測(cè)結(jié)果不正確則獎(jiǎng)勵(lì)值為 0。

在此基礎(chǔ)上，研究團(tuán)隊(duì)引入 TARA 表征對(duì)齊方法，通過(guò)兩個(gè)對(duì)齊任務(wù)向模型注入分類(lèi)學(xué)知識(shí)。第一部分為視覺(jué)表示對(duì)齊。具體步驟包括使用生物基礎(chǔ)模型（BFM）提取圖像特征，獲取多模態(tài)模型中間層的視覺(jué)特征，將兩者映射到同一特征空間，并利用余弦相似度進(jìn)行對(duì)齊。

通過(guò)這一過(guò)程，模型能夠?qū)W習(xí)符合生物分類(lèi)結(jié)構(gòu)的視覺(jué)表示空間。第二部分為標(biāo)簽表示對(duì)齊。具體過(guò)程為將分類(lèi)標(biāo)簽輸入 BFM 文本編碼器獲得標(biāo)簽嵌入，然后將多模態(tài)模型生成答案的 token 表征映射到同一空間，并進(jìn)行相似度對(duì)齊。通過(guò)這種方式，模型能夠?qū)W習(xí)不同層級(jí)標(biāo)簽之間的語(yǔ)義關(guān)系。

在訓(xùn)練過(guò)程中，研究團(tuán)隊(duì)采用交替訓(xùn)練策略，使模型在兩種目標(biāo)之間不斷優(yōu)化。一方面通過(guò)強(qiáng)化學(xué)習(xí)優(yōu)化分類(lèi)任務(wù)，另一方面通過(guò) TARA 進(jìn)行知識(shí)對(duì)齊，從而使模型逐漸吸收生物分類(lèi)學(xué)知識(shí)并提升層級(jí)識(shí)別能力。

在評(píng)價(jià)指標(biāo)方面，為了全面評(píng)估模型在層級(jí)視覺(jué)識(shí)別任務(wù)中的表現(xiàn)，研究人員設(shè)計(jì)了多種評(píng)價(jià)指標(biāo)。其中 Hierarchical Consistent Accuracy（HCA）用于評(píng)估模型是否能夠正確預(yù)測(cè)完整的分類(lèi)路徑，例如 Animal、Chordata、Aves、Passeriformes、Thraupidae、Dacnis，如果其中任意一層預(yù)測(cè)錯(cuò)誤，則整條路徑都視為預(yù)測(cè)錯(cuò)誤。Leaf-level Accuracy（Accleaf）用于衡量最細(xì)粒度類(lèi)別，也就是葉節(jié)點(diǎn)類(lèi)別的預(yù)測(cè)準(zhǔn)確率。

Point-Overlap Ratio（POR）用于統(tǒng)計(jì)預(yù)測(cè)路徑中正確節(jié)點(diǎn)所占的比例。Strict Point-Overlap Ratio（S-POR）在此基礎(chǔ)上要求預(yù)測(cè)節(jié)點(diǎn)必須是連續(xù)正確的節(jié)點(diǎn)才會(huì)計(jì)入得分。Top Overlap Ratio（TOR）則用于衡量相鄰層級(jí)之間預(yù)測(cè)結(jié)果的一致性，通過(guò)這些指標(biāo)可以全面評(píng)估模型在層級(jí)結(jié)構(gòu)識(shí)別任務(wù)中的整體性能。

03

讓視覺(jué)模型學(xué)會(huì)「推斷未知」

整體來(lái)看，這項(xiàng)研究在理論和實(shí)際應(yīng)用方面都具有較為重要的意義。首先，在解決多模態(tài)模型層級(jí)識(shí)別能力不足的問(wèn)題方面，現(xiàn)有多模態(tài)模型雖然在細(xì)粒度識(shí)別任務(wù)中已經(jīng)取得較好的效果，但在層級(jí)識(shí)別任務(wù)中仍然容易出現(xiàn)分類(lèi)路徑錯(cuò)誤以及層級(jí)關(guān)系不一致等情況。

針對(duì)這一問(wèn)題，研究團(tuán)隊(duì)提出的 TARA 方法通過(guò)引入分類(lèi)學(xué)知識(shí)，使模型在識(shí)別過(guò)程中能夠更好地保持不同層級(jí)之間的邏輯關(guān)系，從而顯著提升模型在層級(jí)分類(lèi)任務(wù)中的一致性表現(xiàn)。

其次，在提升模型對(duì)未知類(lèi)別的泛化能力方面，研究人員指出在真實(shí)環(huán)境中新的物種仍在不斷被發(fā)現(xiàn)，傳統(tǒng)模型在缺乏訓(xùn)練樣本的情況下往往難以進(jìn)行準(zhǔn)確識(shí)別。TARA 利用生物基礎(chǔ)模型中蘊(yùn)含的分類(lèi)學(xué)知識(shí)，使模型能夠推斷未知類(lèi)別之間的層級(jí)關(guān)系，并在缺乏訓(xùn)練樣本的情況下仍然完成識(shí)別任務(wù)，這對(duì)于開(kāi)放世界識(shí)別任務(wù)具有重要意義。

再次，在方法層面，研究提出了一種新的思路，即通過(guò)中間表征對(duì)齊的方式，將領(lǐng)域知識(shí)注入到多模態(tài)模型之中。研究團(tuán)隊(duì)認(rèn)為，這種方法不僅可以應(yīng)用于生物分類(lèi)任務(wù)，還能夠推廣到其他具有層級(jí)結(jié)構(gòu)的應(yīng)用場(chǎng)景，例如醫(yī)學(xué)影像分類(lèi)、商品分類(lèi)以及知識(shí)圖譜推理等領(lǐng)域，從而為多模態(tài)大模型與領(lǐng)域知識(shí)結(jié)合提供了一種具有普適性的技術(shù)路徑。

最后，在推動(dòng)通用視覺(jué)理解系統(tǒng)發(fā)展方面，研究人員認(rèn)為未來(lái)的視覺(jué)系統(tǒng)不僅需要具備識(shí)別具體對(duì)象的能力，還需要能夠理解不同對(duì)象之間的結(jié)構(gòu)關(guān)系。通過(guò)在模型訓(xùn)練過(guò)程中引入層級(jí)知識(shí)，多模態(tài)大模型可以逐步具備對(duì)結(jié)構(gòu)化知識(shí)的理解能力，從而進(jìn)一步發(fā)展成為能夠理解復(fù)雜結(jié)構(gòu)關(guān)系的視覺(jué)智能系統(tǒng)。

04

構(gòu)建 TARA 的人

這篇論文的一作何胡凌霄，現(xiàn)為北京大學(xué)王選計(jì)算機(jī)研究所多媒體信息處理實(shí)驗(yàn)室博士生，師從彭宇新教授，主要研究方向?yàn)榧?xì)粒度多模態(tài)大模型。

學(xué)術(shù)研究方面，他主要圍繞細(xì)粒度視覺(jué)識(shí)別、多模態(tài)大模型等方向開(kāi)展研究工作，在計(jì)算機(jī)視覺(jué)和多模態(tài)學(xué)習(xí)領(lǐng)域發(fā)表多篇論文，其中多篇被CVPR、ICLR、ICDE、BMVC、PRCV等國(guó)際學(xué)術(shù)會(huì)議接收，并參與相關(guān)領(lǐng)域的研究項(xiàng)目。

在學(xué)習(xí)期間，他還獲得國(guó)家獎(jiǎng)學(xué)金、北京理工大學(xué)優(yōu)秀畢業(yè)生、北京理工大學(xué)優(yōu)秀學(xué)生標(biāo)兵等多項(xiàng)榮譽(yù)，并在全國(guó)大學(xué)生數(shù)學(xué)建模競(jìng)賽北京賽區(qū)獲得一等獎(jiǎng)，在華為云人工智能大賽無(wú)人車(chē)挑戰(zhàn)杯中獲得優(yōu)勝獎(jiǎng)等。

參考鏈接：http://39.108.48.32/mipl/news/news.php?id=CHhehulingxiao

論文的通訊作者彭宇新，北京大學(xué)王選計(jì)算機(jī)研究所教授、博士生導(dǎo)師，北京大學(xué)二級(jí)教授、博雅特聘教授，同時(shí)為IEEE、CCF、CAAI、CIE、CSIG Fellow，曾入選國(guó)家杰出青年科學(xué)基金獲得者、國(guó)家萬(wàn)人計(jì)劃以及科技部中青年科技創(chuàng)新領(lǐng)軍人才等人才計(jì)劃。

他于 2003 年畢業(yè)于北京大學(xué)信息科學(xué)技術(shù)學(xué)院計(jì)算機(jī)應(yīng)用技術(shù)專(zhuān)業(yè)并獲得博士學(xué)位，此后在北京大學(xué)開(kāi)展教學(xué)與科研工作。其主要研究方向包括多媒體分析、計(jì)算機(jī)視覺(jué)和人工智能等領(lǐng)域。

彭宇新在相關(guān)領(lǐng)域取得了豐碩的學(xué)術(shù)成果，發(fā)表 TPAMI、IJCV、CVPR、NeurIPS、ICML 等國(guó)際重要期刊和會(huì)議論文 170 余篇，多次獲得最佳論文獎(jiǎng)，研究成果被國(guó)際同行評(píng)價(jià)為在無(wú)對(duì)象標(biāo)注圖像細(xì)分類(lèi)等問(wèn)題上取得重要進(jìn)展。他提出了“弱監(jiān)督深度圖像細(xì)粒分類(lèi)”等創(chuàng)新方法，并建立了跨媒體評(píng)測(cè)基準(zhǔn)PKU XMediaNet，被全球多所高校和機(jī)構(gòu)廣泛使用。其團(tuán)隊(duì)在 NIST 組織的 TRECVID 視頻檢索國(guó)際評(píng)測(cè)中多次獲得第一名，并在多項(xiàng)國(guó)際視覺(jué)競(jìng)賽中取得優(yōu)異成績(jī)。

此外，他主持承擔(dān)國(guó)家 863 計(jì)劃、國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目等 40 余項(xiàng)科研項(xiàng)目，申請(qǐng)發(fā)明專(zhuān)利 50 余項(xiàng)并獲得多項(xiàng)授權(quán)，相關(guān)成果已在國(guó)家網(wǎng)信辦、公安部、國(guó)家廣播電視總局以及多家互聯(lián)網(wǎng)企業(yè)中得到應(yīng)用。同時(shí)，他還積極參與學(xué)術(shù)組織和期刊工作，擔(dān)任多個(gè)國(guó)際期刊編委和重要學(xué)術(shù)會(huì)議的組織者，在人工智能與計(jì)算機(jī)視覺(jué)領(lǐng)域具有重要影響力。

參考鏈接：http://39.108.48.32/mipl/pengyuxin/

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁(yè)、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來(lái)源并插入本公眾號(hào)名片。