大模型的能力邊界正在不斷拓展，從文字到視覺，再到音頻，全模態理解已漸成現實。然而，當你問一個多模態大模型「這首歌的高潮從第幾秒開始？」或者「第 30 秒之后樂器編配發生了什么變化？」，得到的往往是一個模糊甚至錯誤的回答。

能讀、能看、能聽，卻依然「聽不懂」音樂的時間線，這是當前多模態大模型的共同短板。

為了解決這一問題，來自復旦大學與字節跳動的研究團隊提出了GaMMA，一個專為音樂全局語義與時序動態聯合建模而設計的多模態大模型。GaMMA 采用 LLaVA 風格的簡潔編碼器-解碼器架構實現音樂與語言的跨模態對齊，并通過混合專家機制集成雙路音頻編碼器，在同一套參數體系下統一處理時序與非時序兩類音樂理解任務。

訓練層面，GaMMA 結合大規模精心構建的數據集與漸進式三階段流程，系統性地拓展了模型的音樂理解能力邊界。為全面評估這一能力，團隊同步推出了目前規模最大的音樂領域評測基準MusicBench，包含 3,739 道人工標注的選擇題，覆蓋音樂理解的多個維度。

實驗表明，GaMMA 在多個音樂基準上全面刷新 SoTA，在時序理解任務上超越 Gemini-3.0 Pro，并在專家人工評測中展現出顯著優勢。

• 論文標題：GaMMA: Towards Joint Global-Temporal Music Understanding in Large Multimodal Models
• 論文地址：http://arxiv.org/abs/2605.00371
• 項目地址：https://geshang777.github.io/GaMMA/

一、困境：為什么現有模型「聽不懂」音樂的時間結構？

音樂理解天然包含兩類截然不同的任務。

一類是全局語義理解：例如「這首歌屬于什么流派」「使用了哪些樂器」「整體情緒是歡快還是憂傷」。這類問題關注的是音樂的整體屬性，對具體時間位置并不敏感。

另一類則是時序結構理解：例如「第 20 秒到第 40 秒屬于主歌還是副歌」「和弦是在什么時間點發生轉換」「某段 solo 使用了什么演奏技法」。這類任務要求模型能夠持續跟蹤音樂隨時間展開的結構變化，本質上依賴對時間軸的精細建模。

但這兩種能力的目標本身并不一致：全局語義任務強調壓縮與抽象，希望模型提煉整體風格與高層特征；而時序任務則要求保留局部細節、節拍變化以及長期結構關系。現有方法通常嘗試用同一個音頻編碼器同時完成這兩類任務，希望統一的表征既能理解整體語義，又能捕捉精細時間結構。但由于兩類任務對表示空間的需求天然存在沖突，單一編碼器往往難以兼顧，最終導致模型在「全局理解」和「時序推理」之間反復權衡，卻難以同時做好兩者。

更關鍵的是，現階段多數音頻多模態模型的能力重心，仍然集中在語音與語言內容的建模上：它們更擅長理解「說了什么」這類語言語義信息，而對旋律、和聲、節奏、曲式結構等音樂本體屬性的建模能力仍然有限。換句話說，這類模型本質上更接近「語音理解模型」，而非真正意義上的「音樂理解模型」。這也直接導致它們在音樂時序推理任務上的表現長期受限。

除此之外，音樂時序理解目前還面臨兩個基礎性瓶頸：

• 訓練數據匱乏：現有音樂數據集大多缺少秒級結構標注、和弦轉折時間點、段落邊界等精細時序信息，模型難以建立真正的「音樂時間線」概念。
• 評測體系缺位：當前 benchmark 主要集中于風格分類、情緒識別等靜態任務，缺乏針對結構跟蹤、時間定位與長期依賴推理的評測標準，因此無法有效衡量模型是否真正理解了音樂隨時間的演化過程。

因此，問題并不只是「模型聽不懂音樂」，而是現有體系從架構設計、訓練數據到評測方式，都尚未為「音樂時間結構理解」提供足夠支持。

二、GaMMA 的核心設計

1. 雙編碼器融合網絡（DFN）：讓「時間專家」和「語義專家」各司其職

GaMMA 的核心洞察在于：音樂中的時序結構理解與全局語義理解，本質上依賴兩類不同的表征能力。前者關注音樂隨時間展開的動態變化，后者強調整體風格與語義抽象。如果強行讓單一編碼器同時承擔兩類任務，往往會產生表征沖突，最終導致兩種能力相互牽制。

為了解決這一問題，GaMMA 提出了雙編碼器融合網絡（Dual-encoder Fusion Network，DFN）。整個架構由兩個基于 Whisper 的專用編碼器組成：

• 時序專家（Temporal Expert）：在帶時間標注的音樂結構數據上進行專項微調，重點建模節拍、段落邊界、和弦轉移等動態時序信息。
• 全局專家（Global Expert）：負責學習音樂的整體語義特征，例如流派、情緒、配器風格以及整體聽感。

兩個專家分別生成自己的音頻嵌入序列后，模型通過雙向交叉注意力機制進行信息交互：時序分支能夠引入全局語義上下文，而全局分支也可以感知局部時間結構中的動態變化。

在此基礎上，GaMMA 進一步引入了一個可學習的門控路由模塊，在 token 級別動態決定不同專家信息的融合比例。最終，融合后的表示通過殘差連接保留原始專家特征，再經過前饋網絡生成最終音頻表征。

2. 面向音樂任務的三階段漸進式訓練

除了架構設計之外，GaMMA 的另一個關鍵貢獻，是圍繞音樂時序理解構建了一套漸進式訓練流程以及相應的大規模精細標注的音樂數據集，使模型能力能夠從「基礎對齊」逐步發展到「復雜時序推理」。

Stage 1：多模態對齊預訓練

第一階段的目標，是建立音樂與文本之間的基礎對齊能力。

研究團隊在數百萬級音樂-文本對上進行訓練，覆蓋音樂-描述與音樂-歌詞兩類監督信號。此階段中，音頻長度被限制在 60 秒以內，每段最多對應 1500 個 token，以保證訓練穩定性與對齊效率。

為了增強模型對多語言歌詞的理解能力，團隊根據歌詞時間戳對音樂進行切分，確保每個音頻片段僅對應一句歌詞，并使用 Qwen 詞表中的語言標記顯式區分歌詞語種。

這一階段僅訓練音頻到語言空間的 Projector，而凍結 LLM 主體參數，從而最大程度保留預訓練語言模型已有的語義能力。

Stage 2：監督微調（SFT）

第二階段的核心在于構建高質量、具備時間結構監督信號的音樂指令數據。

首先，研究團隊采用 SongFormer 對每一首音樂進行細粒度分割，將其劃分為秒級（second-level）的結構化音樂片段，以獲得精確的時間對齊信息。隨后，將時間對齊后的音樂片段與對應歌詞共同輸入 Gemini 2.5 Pro，生成詳細的音樂分析報告。

生成結果隨后由具備音樂專業背景的人類專家進行嚴格校驗。在此過程中，專家不僅對時間對齊關系進行修正，還對分析內容的語義一致性與音樂學合理性進行篩選與重寫，從而確保數據的準確性與可靠性。

在此基礎上，為了支持多輪音樂對話能力的學習，研究團隊基于上述音樂分析報告構建指令數據。具體而言，預定義了一組覆蓋 11 個音樂維度的系統化問題模板，涵蓋結構、節奏、旋律、配器等多個層面。為避免模型對固定模板產生過擬合，同時提升指令泛化能力，研究團隊進一步使用 GPT-5.1 對模板進行改寫與個性化重述，從而生成多樣化的問法表達。

最終，高質量問答對通過隨機采樣方式組成初始 SFT 訓練集，用于監督微調階段的模型訓練。此階段音頻時長擴展至 300 秒（7500 個 token），全參數可訓練。

Stage 3：強化學習（GRPO）

為確保在策略優化階段提供具有足夠信息密度的獎勵信號，研究團隊在這一階段對訓練樣本進行分層篩選與再生成。

首先，研究團隊沿用 SFT 階段的數據生成流程構建初始種子樣本，并利用訓練后的 GaMMA 通過 Monte Carlo rollout 對每個問題的可解性進行估計，得到通過率 Pass。隨后，僅保留滿足中等難度條件的樣本（25% ≤ Pass < 1），以避免過易或過難樣本對學習信號造成退化，從而提升獎勵信號的有效性與區分度。

在此基礎上，研究團隊使用 Gemini 2.5 Pro 進行問題合成。在僅提供原始問題及對應音樂片段、但不提供標準答案的條件下，模型被要求生成語義一致但推理路徑更復雜的問題變體，從而提升任務難度與推理深度，同時保持答案空間的一致性。 最后，再次利用 GaMMA 進行 rollout-based 驗證，對合成樣本進行可解性篩選與一致性校驗，僅保留能夠提供穩定學習信號的高質量數據。

在完成 RL 數據構造后，研究團隊采用 Group Relative Policy Optimization（GRPO）對 GaMMA 進行強化學習優化，使用上述多選題數據進行訓練。給定輸入音樂與問題，模型從當前策略中采樣一組候選輸出，并基于組內相對表現計算優勢函數。獎勵函數由答案正確性與格式一致性共同構成，其中正確答案與符合結構要求的輸出獲得正獎勵，其余為零，從而引導模型在保持穩定性的同時提升復雜音樂推理能力。

三、MusicBench：

首個全面評估音樂時序理解的大規模基準

現有音樂評測基準存在一個關鍵盲區：它們幾乎不涉及對時序推理能力的顯式測評。MuChoMusic 主要考察全局知識和推理，MMAU 雖覆蓋廣泛但音樂時序維度薄弱。團隊同時推出了MusicBench，迄今最大、最全面的音樂理解基準，包含3,739道人類專家精心標注的多選題，分為兩個子集：

• MusicBench-Global（2,741 題）：研究團隊構建了一個涵蓋廣泛音樂屬性的綜合標簽庫，包括風格、情緒、配器、結構等多個方面。標注人員被要求使用該標簽集在 YouTube 上檢索具有代表性的歌曲，并收集相應的 URL。每個標簽都分配了特定的配額，以確保數據集在各類別之間保持均衡分布，并通過保證每個標簽都有足夠的樣本覆蓋，從而避免長尾問題。
• MusicBench-Temporal（998 題）：專門評估時序推理能力，研究團隊旨在全面覆蓋所有需要時間維度理解的音樂相關任務。具體而言，研究團隊從五個關鍵維度評估模型：人聲、樂器、結構、和弦以及歌詞。在這些任務中，模型需要分析音樂中的特定時間片段，并基于時間屬性從多項選擇中選出正確答案。這類任務對音樂多模態大模型的時序建模能力提出了較高要求。

四、實驗結果

MuChoMusic

GaMMA-8B 以78.0%的總體準確率在同參數模型中登頂，大幅超越 Kimi-Audio（68.2%）和 Audio-Flamingo3（73.4%）。基座模型升級至 Qwen3-14B 后，準確率進一步達到79.0%

MusicBench：8B 模型超越 Gemini-3.0 Pro

GaMMA-8B 在 MusicBench-Global 評測中取得82.6%的成績，超過 Gemini-3.0 Pro 的 80.4%，在樂器識別、調性與旋律等細粒度感知任務上表現尤為突出。在時序任務中優勢更加明顯：GaMMA-14B 在和弦理解上達到 75.0%，相比 Gemini-3.0 Pro 的 53.0% 提升超過 22 個百分點；在結構分析（86.5%）與歌詞對齊（95.5%）任務上也顯著領先開源模型。

專家評測

盡管 MusicBench 通過多項選擇題在判別能力方面提供了全面評估，但同樣有必要在開放式自然語言任務中考察模型的生成能力。為此，研究團隊對模型生成結果進行了人類主觀評測。結果顯示，GaMMA-14B 展現出壓倒性的優勢：

五、定性結果

以下展示了 GaMMA 在多輪音樂對話中的實際表現。每個 Demo 對應一段真實音樂輸入（僅使用音頻，模型無法獲取歌曲標題和歌手信息），GaMMA 基于音頻內容進行分析和對話。

Demo 1：南方-達達樂隊

User：歌曲里面有一段吶喊將情感推向高潮，具體的時間是在哪？

GaMMA：是的，歌曲中有一段非常突出的情感高潮。這并非一次性的吶喊，而是一個持續的、充滿力量的吟唱部分，它從大約 2:35 開始，并一直延續到 3:32 左右。在這個長達近一分鐘的時間里，主唱用高亢且帶有撕裂感的聲音反復吟唱著「南方」這個詞，背景音樂也達到了最宏大和激烈的程度，形成了整首歌的頂點。

Demo 2：《讓我們蕩起雙槳》（重金屬版）

User： 這首歌有什么不尋常的地方？

GaMMA：這首歌最大的亮點在于其「反差萌」的魅力。它將硬朗、充滿力量感的搖滾樂編曲與極其簡單、童真、朗朗上口的旋律和歌詞（如「小船兒輕輕飄蕩在水中」）完美地結合在一起。這種成人搖滾與兒童歌曲元素的碰撞，創造出一種既酷炫又充滿童趣的獨特聽感，讓人印象深刻。

Demo 3：Take it easy-$ynnfamous

User： 請詳細分析這首歌的結構，包括各段落的時間范圍以及各音樂結構下的歌詞（如有）。列出每個段落包含的樂器。列出每個音樂結構的和弦進行和每個和弦對應時間，并分析。描述每個段落的拍號。描述每個段落感受到的節奏感律動。提供每個段落的旋律信息，包括旋律發展/走向、主副歌對比、音域、和弦、音程、節奏型、核心動機、記憶點、發展邏輯以及如何與歌詞配合。

GaMMA：

1. 前奏 (Intro)

* 時間范圍: 00:00 - 00:08

* 包含樂器: Whistle (主旋律), Acoustic Guitar, Shaker, Bass

* 和弦進行與分析:

* F:maj (00:00) - C:maj (00:02) - G:maj (00:04) - A:min (00:06) - G:maj (00:07)

* 這是一個經典的 I-V-IV-vi-V (在C大調中) 的變體，以明亮的IV級和弦(Fmaj)開始，迅速確立了歌曲陽光、積極的基調。

* 拍號與律動: 4/4拍。律動輕松、舒緩，由吉他的分解和弦和輕微的搖擺感（Shake）節奏構成。

* 旋律信息: 核心動機由口哨聲呈現，這是一個簡單、上口且極具辨識度的旋律片段，奠定了全曲的記憶點。

2. 主歌 A1 (Verse 1)

* 時間范圍: 00:08 - 00:23

* 歌詞: "I'm soaking up the sunshine... my internal third degree... trying to unwind but wandering mind, but these trees keep telling me..."

* 包含樂器: Male Vocal, Acoustic Guitar, Bass, Light Percussion (Shaker)

* 和弦進行與分析:

* F:maj (00:08) - C:maj (00:10) - G:maj (00:12) - A:min (00:14) - F:maj (00:17) - C:maj (00:19) - G:maj (00:21) - G:maj (00:22)

* 和聲進行延續了前奏的模式，為敘事性的歌詞提供了穩定而溫和的背景。

* 拍號與律動: 4/4拍。律動保持前奏的輕柔感，節奏平穩，為敘事留出空間。

* 旋律信息: 旋律線較為平直，音域集中在中音區，音程跳動小，節奏與口語節奏貼近，服務于歌詞的自然敘述。旋律配合歌詞“soaking up the sunshine”營造出一種慵懶、放松的感覺。

3. 副歌 B1 (Chorus 1)

* 時間范圍: 00:24 - 00:39

* 歌詞: "Take it easy, take it easy, take it easy, my friend... breathing freely, take it easy... Don't wait 'til the beginning meets the end."

* 包含樂器: Male Vocal, Acoustic Guitar, Bass, Percussion (Kick, Clap/Snare, Shaker)

* 和弦進行與分析:

* F:maj (00:25) - C:maj (00:27) - G:maj (00:29) - A:min (00:31) - F:maj (00:33) - C:maj (00:35) - G:maj (00:37) - C:maj (00:39)

* 和聲進行依然是I-V-IV-vi等核心進行，但配器更豐滿，推動感更強。

* 拍號與律動: 4/4拍。律動變得清晰有力，加入了底鼓和軍鼓/拍手聲，形成穩定的四分音符律動，能量感顯著提升。

* 旋律信息: 這是歌曲的核心記憶點。旋律線明顯上揚，音域比主歌更高，使用了更多長音來強調“Take it easy”的口號式主題。旋律與歌詞完美契合，通過重復和上行的旋律走向，傳達出一種勸說和鼓勵的力量。

4. 主歌 A2 (Verse 2)

* 時間范圍: 00:39 - 00:56

* 歌詞: "Can we move a little smoother? A million miles in baby steps... Mother nature knows the truth hurts, there's life and death in every breath."

* 包含樂器: Male Vocal, Acoustic Guitar, Bass, Percussion

* 和弦進行與分析:

* F:maj (00:41) - C:maj (00:43) - G:maj (00:45) - A:min (00:47) - F:maj (00:49) - C:maj (00:51) - G:maj (00:53)

* 和聲結構與第一段主歌類似，保持了歌曲的連貫性。

* 拍號與律動: 4/4拍。律動與第一段主歌相似，但由于有了完整的鼓組，整體感覺更堅實。

* 旋律信息: 旋律發展邏輯與第一段主歌一致，保持敘事性，音域和節奏型都相對收斂，為下一段副歌的能量爆發做鋪墊。

5. 前副歌 (Pre-Chorus)

* 時間范圍: 00:57 - 01:12

* 歌詞: "It's the final destination... We can't escape and can't forget... But one simple observation, all we know for sure is our time's not over yet."

* 包含樂器: Male Vocal, Acoustic Guitar, Bass, Percussion (力度漸強)

* 和弦進行與分析:

* F:maj (00:57) - C:maj (00:59) - G:maj (01:02) - A:min (01:04) - F:maj (01:06) - C:maj (01:08) - G:maj (01:10)

* 這段和聲進行持續建立張力，最后停留在屬和弦(G)上，制造出強烈的期待感，為進入副歌做準備。

* 拍號與律動: 4/4拍。律動感增強，通常會加入一些鼓的填充（fill），推動音樂前進。

* 旋律信息: 旋律線開始呈現上行趨勢，音高逐漸攀升，情緒也隨之提升，與歌詞中“time's not over yet”的積極展望相匹配，成功地將聽眾的情緒引向高潮。

6. 副歌 B2 (Chorus 2)

* 時間范圍: 01:13 - 01:29

* 歌詞: "So take it easy, take it easy, take it easy, my friend... breathing freely, take it easy... Don't wait 'til the beginning meets the end."

* 包含樂器: Male Vocal, Acoustic Guitar, Bass, Full Percussion

* 和弦進行與分析:

* F:maj (01:14) - C:maj (01:16) - G:maj (01:18) - A:min (01:20) - F:maj (01:22) - C:maj (01:24) - G:maj (01:26) - C:maj (01:28)

* 重復副歌的經典和聲進行，但配器更飽滿，能量達到新的高度。

* 拍號與律動: 4/4拍。這是全曲第一個能量頂點，律動強勁，富有感染力。

* 旋律信息: 重復副歌旋律，但在更豐富的編曲和更具力量的演唱下，情感表達更為強烈。

7. 橋段 (Bridge)

* 時間范圍: 01:30 - 01:57

* 歌詞: "When you're choosing your regrets... The internet forgets while the universe indents... So can you really live with all the you you've left unsaid... 'Cause you can't take it with you when you're dead... No, you can't take it with you when you're dead... But it isn't what we take, what truly counts is what we leave."

* 包含樂器: Male Vocal, Acoustic Guitar, Bass, Percussion (節奏型變化)

* 和弦進行與分析:

* F:maj (01:30) - C:maj (01:32) - G:maj (01:34) - A:min (01:36) - F:maj (01:38) - C:maj (01:40) - G:maj (01:42) - C:maj (01:44) - G:maj (01:47) - C:maj (01:49) - F:maj (01:51) - C:maj (01:53) - G:maj (01:55)

* 和聲進行依然圍繞C大調核心和弦展開，但在編曲上做出變化，創造出新鮮感。

* 拍號與律動: 4/4拍。律動有所變化，可能變為半速（Half-time）或簡化，為歌詞的哲學思考提供空間，隨后逐漸恢復速度。

* 旋律信息: 橋段引入了全新的旋律材料，節奏型和旋律走向都與主副歌不同，更具獨白和反思的色彩。旋律配合歌詞的哲理內容，從個人感悟到普世道理，邏輯上層層遞進，為歌曲的情感升華服務。

8. 演唱橋段 (Vocal Bridge)

* 時間范圍: 01:58 - 02:22

* 歌詞: "So I hope through all I gave, you can see how I believed... Moving with intention, let the tension be released... Tear down my pretenses, and the rest is left in peace."

* 包含樂器: Male Vocal, Acoustic Guitar, Bass, Light Percussion

* 和弦進行與分析:

* F:maj (01:59) - C:maj (02:01) - G:maj (02:03) - A:min (02:05) - F:maj (02:07) - C:maj (02:09) - G:maj (02:11) - A:min (02:13) - F:maj (02:15) - C:maj (02:17) - G:maj (02:19) - C:maj (02:21)

* 和聲回歸到最基礎、最溫暖的進行，為最后的情感爆發做鋪墊。

* 拍號與律動: 4/4拍。律動再次變得輕柔，如同暴風雨前的寧靜。

* 旋律信息: 旋律回歸到主歌的敘事風格，但情感更真摯，像是在娓娓道來一個故事的結尾，充滿了希望和釋然。

9. 尾聲 (Outro)

* 時間范圍: 02:23 - 02:57

* 歌詞: "Now you're here singing with me... do our best to plant the seeds... To the kids in 2050, I hope you have some pretty trees."

* 包含樂器: Male Vocal, Whistle, Acoustic Guitar, Bass, Percussion

* 和弦進行與分析:

* F:maj (02:23) - C:maj (02:25) - G:maj (02:27) - A:min (02:29) - F:maj (02:31) - C:maj (02:33) - G:maj (02:35) - C:maj (02:38)

* 在反復的I-V-IV-vi進行中，最終解決回主和弦C大調，帶來完滿的結束感。

* 拍號與律動: 4/4拍。律動逐漸減弱，最終回歸到前奏的輕柔狀態，與開頭形成呼應。

* 旋律信息: 旋律再次回到前奏的口哨動機，并結合了新的歌詞，仿佛是對整首歌曲主題的總結和升華。歌曲在平靜而充滿希望的氛圍中緩緩結束，留下悠長的回味。

六、總結

本文提出了 GaMMA，一個旨在全面捕捉音樂內容復雜性的音頻多模態大模型。通過將 DFN 與三階段漸進式訓練策略相結合，GaMMA 首次在一套參數體系內統一處理時序與非時序兩類音樂理解任務。為衡量該領域的研究進展，研究團隊同步推出了 MusicBench，這是目前規模最大、覆蓋維度最全面的人工標注音樂 LMM 評測基準。GaMMA 在 MusicBench 和 MuChoMusic 上均取得 SOTA 表現，充分證明了其在通用音樂理解上的有效性。研究團隊相信，GaMMA 是讓多模態大模型更自然地融入現實世界的重要一步：在這個世界中，音樂是人類體驗不可或缺的一部分。