LG AI研究院首發開源視覺語言模型EXAONE 4.5

這項由LG AI研究院主導開發的研究成果以技術報告形式發布于2026年4月9日，論文編號為arXiv:2604.08644v1，有興趣深入了解的讀者可通過該編號在arXiv平臺查詢完整報告。

一個能同時看懂圖紙、讀懂說明書、還能用六種語言回答問題的AI助手，聽起來像科幻小說里的情節，但LG的工程師們已經把它變成了現實。這就是EXAONE 4.5——LG AI研究院歷史上第一個以"開放權重"形式對外發布的視覺語言模型，也是該研究院在AI技術路線上邁出的重要一步。

所謂"開放權重"，可以理解為LG把這個AI模型的內部參數公開分享給全世界的研究者和開發者，有點像一家餐廳不僅開放給客人用餐，還把廚師的菜譜一并公開。這樣的做法能讓全球研究社區在此基礎上繼續改進和創新，推動整個行業向前發展。

一、從"只讀文字"到"既看圖又讀字"——EXAONE家族的進化之路

要理解EXAONE 4.5的價值，先得了解它的前輩們走過了什么路。LG的EXAONE系列模型就像一個不斷成長的學生：最早的EXAONE 3.0和3.5專注于文字處理，相當于只會讀書寫字的學生；后來的EXAONE Deep專門強化了數學、科學、編程等領域的推理能力，像是參加了數理競賽培訓；再后來的EXAONE 4.0進化成一個"雙模式"系統，既能輕松應對日常對話，也能在面對高難度問題時切換到深度推理狀態。

但這些前輩有一個共同的局限：它們只能理解文字，看不懂圖像。對于工廠里復雜的電路圖、醫院里的醫學影像、工程師手頭的設計藍圖，這些模型統統束手無策。EXAONE 4.5的誕生就是為了突破這道屏障——它給這個文字高手裝上了一雙"眼睛"，讓它既能讀文又能看圖。

用一個更形象的比喻：以前的EXAONE就像一個博學的盲人，能夠流利背誦百科全書，卻無法判斷面前擺的是蘋果還是橙子。EXAONE 4.5則是在這位博學者身上裝了一套精密的視覺系統，讓他第一次真正"看見"了世界。

二、架構設計：如何給語言模型裝上一雙好眼睛

EXAONE 4.5的核心架構可以用"大腦加眼睛"來理解。它的語言理解部分繼承自EXAONE 4.0的32億參數（準確說是320億，即32B）語言模型，這是模型的"大腦"，負責理解和生成語言。而新增的"眼睛"則是一個專門從零開始訓練的12億參數視覺編碼器。

為什么要特別強調"從零開始訓練"？因為市面上現有的視覺編碼器要么規模太小，要么效率不夠高，無法滿足LG工程師的具體需求。于是研究團隊干脆自己設計并訓練了這個12億參數的視覺編碼器，確保它能夠與整個系統的架構完美契合。

視覺編碼器和語言模型之間，還有一個叫做"MLP投影器"的連接模塊，可以把它理解為翻譯官——它把視覺編碼器"看到"的內容翻譯成語言模型能夠理解的格式，讓兩個原本說"不同語言"的系統能夠順暢溝通。

在處理圖像時，有一個關鍵的技術挑戰：圖像越高清，處理它所需的計算資源就越多。以前很多模型為了省資源，會把圖像"壓縮"得很厲害，導致丟失大量細節。EXAONE 4.5選擇了不同的路——它用一個足夠大（12億參數）的視覺編碼器來處理高分辨率圖像，同時支持"原生分辨率"輸入，也就是說圖像不需要被強制縮小，保留了原始的細節信息。這就像拍照時選擇最高畫質，而不是為了省存儲空間壓縮成低畫質。

為了在保持高質量的同時控制計算成本，模型還用到了幾個聰明的技術。首先是"分組查詢注意力機制"，簡稱GQA——這個技術可以理解為一種更高效的信息處理方式，讓模型在處理圖像時不需要重復做太多冗余計算，節省了大量算力，同時也得到了現代推理框架的廣泛支持，部署起來更方便。

其次是"混合注意力機制"，它幫助模型在處理長文本或者多張圖片時，能夠更有效地管理注意力資源，就像一個有經驗的讀者在閱讀長文章時會合理分配注意力，而不是死盯著每一個字。

還有一個叫做"2D旋轉位置編碼"（2D RoPE）的技術，專門用于視覺編碼器。普通的語言模型處理的是一維的文字序列，就像讀一行文字，從左到右依次理解。但圖像是二維的，有寬度也有高度，位置信息更復雜。2D旋轉位置編碼就專門為此設計，讓模型能夠理解"這個物體在圖像的左上角"、"那個符號在右邊第三行"這樣的空間位置關系。相比之下，語言模型依然使用標準的一維位置編碼，這樣既保證了圖像理解的精準性，也不影響語言理解的性能。

此外，模型還引入了"多令牌預測"模塊，借鑒自LG此前的K-EXAONE項目。這個模塊可以讓模型在生成文字時一次預測多個詞，相當于打字時不是一個字一個字地敲，而是整詞、整句地輸入，大大提升了輸出速度。不過在實際推理時，這個模塊會被關閉，以確保輸出質量。

分詞器也做了專門優化。EXAONE 4.5復用了K-EXAONE的分詞器，相比EXAONE 4.0的版本，它在多語言支持和韓語處理方面有顯著提升，能夠更準確地理解和生成多種語言的文本。

三、訓練過程：一場精心設計的"多階段特訓"

訓練EXAONE 4.5就像培養一名全能運動員，不能一上來就讓他參加奧運會，而是要按照由淺入深的課程逐步強化。整個預訓練過程分為兩個大階段，總計處理了超過6450億圖像令牌和5100億文本令牌。

在正式的雙模態聯合訓練開始之前，研究團隊先單獨訓練了視覺編碼器，讓它學會如何"看圖"，采用的是一種自回歸目標的訓練方式，靈感來自OpenVision2的方法，確保視覺編碼器的輸出格式與整體架構兼容。

第一階段被稱為"基礎模態對齊"。在這個階段，視覺編碼器、投影器和語言模型三者一起進行端對端的聯合訓練，序列長度設定為8000個令牌，總計算量約為1.57×10??次浮點運算。訓練數據的組合非常多元：既有一般性的圖文配對數據，也有交錯排布圖文的文檔數據，還有專門用于文檔理解的數據集和以OCR（光學字符識別）為核心的樣本。特別值得一提的是，為了防止加入視覺訓練后語言能力退步，研究團隊還在訓練數據中加入了K-EXAONE流水線中的純文本數據，就像讓一個學美術的學生同時不放棄語文練習。

第二階段叫做"感知與知識精煉"，序列長度同樣保持8000個令牌，總計算量約為6.43×10??次浮點運算。這個階段的重點是調整數據配比：減少通用域數據的比例，轉而增加視覺定位、文檔解析和OCR相關的高密度結構化數據。同時引入了涵蓋知識、數學和STEM領域的多樣化數據集，為后續處理復雜多模態任務打下基礎。整體策略是從"寬泛的視覺文本對齊"過渡到"對結構化、領域特定數據的深度理解"。

在訓練數據的構成方面，研究團隊投入了大量精力進行精細化設計。圖像描述數據以韓英雙語配對為主，針對原始網絡抓取的圖文數據描述過于簡短和噪聲多的問題，研究團隊構建了一套合成描述生成流水線，專門用來豐富語義內容。為了縮小通用預訓練數據和實際下游任務之間的差距，還引入了面向任務的圖像，包括數學圖形、圖表、示意圖和文檔解析相關內容。整個流水線以視覺信息豐富度和圖文對齊為優化目標，強調實體多樣性、視覺復雜性和細粒度細節，同時利用現有元數據作為合成生成的參考依據，以減少幻覺現象。

交錯圖文數據方面，研究團隊借鑒了成熟的大語言模型數據過濾方法，從多個開源資源和內部資源中提取高質量的多模態網絡內容。他們使用了一個輕量級的文本分類器，根據教育質量分數和STEM相關性對文本部分進行評估，過濾掉低價值的網絡噪聲，同時對高信息密度文檔進行重點采樣。保留圖文自然排列順序的設計使模型能夠在長上下文中處理多模態信息，并將非相鄰的視覺和文本線索關聯起來。

OCR和文檔數據的構建非常細致，涵蓋了英語和韓語，在字符、詞語和文檔三個層面上整合了開源和內部資源。合成的OCR圖像使用多樣化的背景和對比度不同的視覺混淆詞對，模擬真實場景中的識別難度。各類文檔解析任務還包括將圖表、表格和文檔轉換為HTML、Markdown和JSON等結構化格式，幫助模型學習版面理解和語義結構重建。

視覺定位和計數數據有一套專門的構建流水線。所有物體位置統一用邊界框格式表示，坐標經過歸一化處理后縮放到0到1000的范圍。計數任務則以合成生成為主，避免真實世界數據中遮擋、擁擠等噪聲問題，并通過對計數范圍和對象類型進行顯式平衡來消除偏向少量、簡單類別的偏差，隨后經過迭代精煉增加難度和多樣性。

STEM和推理數據通過一套基于搜索的合成流水線來解決高水平學術內容稀缺的問題，覆蓋復雜數學圖形、工程示意圖和科學圖解。提取的元數據被用于生成長鏈式思維數據，將視覺感知與深度知識推理結合起來。訓練過程遵循漸進式課程：先用寬泛過濾策略保證視覺多樣性，然后對專項數據集進行戰略性上采樣，彌補剩余性能差距。

韓語專項數據是EXAONE 4.5的一大特色。研究團隊專門整理了韓國旅游局的數據集，涵蓋大量韓國歷史和當代文化的圖文描述，幫助模型積累深厚的文化知識。為了覆蓋活躍用戶群體中流行的游戲和IT內容，還使用了IT Donga和Game Donga的數據集，讓模型能夠全面理解現代韓國數字文化。在推理任務方面，除了沿用英語STEM流水線外，還額外采用了一種"文字渲染為圖像"的策略，把基于文字的題目轉換為高分辨率渲染圖像，確保模型能夠穩健地解析和求解格式化的韓語學術內容。

四、從8K到256K：如何讓模型讀懂"超長文檔"

一般的AI模型就像一個短期記憶很有限的人——你給他看的內容太多，他就記不住前面說了什么。EXAONE 4.5的目標是支持最多256,000個令牌的上下文長度，相當于大約20萬漢字的超長文檔。這對于需要分析整本技術手冊或跨頁面圖表的工業應用場景至關重要。

實現這一目標的方式頗為巧妙。通常的做法是先把模型訓練好，再單獨做一個"上下文擴展"的階段，就像先造好一輛車，再專門改裝成越野車。EXAONE 4.5卻把上下文擴展直接融入了監督微調階段，讓模型在學習如何遵循指令的同時，一并學會處理超長內容。

這種方法奏效的一個關鍵原因是底座足夠扎實——EXAONE 4.0語言模型本身就已經支持128K的上下文長度。在這個高起點上繼續擴展到256K，比從只支持4K的模型開始擴展要穩定得多，就像已經跑過半程馬拉松的運動員，再多跑幾公里比從零起跑的人容易得多。視覺編碼器此時也能發揮積極作用，因為它已經通過多模態預訓練與語言模型良好對齊，在多模態場景下同樣能保持穩定的長上下文處理能力。

計算層面，處理256K長度的序列對內存和算力的需求是巨大的。為此，研究團隊引入了"上下文并行"技術，把超長序列分散到多個計算節點上并行處理，就像把一份超長的報紙分成多段，讓多個人同時閱讀，再匯總各自的理解，從而維持了高訓練吞吐量。

五、精細打磨：監督微調、偏好優化與強化學習三管齊下

預訓練完成后，研究團隊還對模型進行了多輪精細化訓練，就像一把刀鍛造好之后還要經過打磨和開刃才能真正好用。

監督微調階段構建了一個覆蓋多領域、多模態的高質量訓練數據集。與其用單一的數據處理流水線一刀切，研究團隊按照不同的能力域來組織數據，并為每個領域定制了不同的策略。訓練數據覆蓋了視覺理解、語言使用、推理和指令遵循等多種能力，既包含文檔中心型輸入，也涵蓋通用多模態輸入，讓模型形成廣泛的泛化能力。

監督微調同時整合了"非推理模式"和"推理模式"兩種監督信號——前者對應日常對話型任務，后者對應需要深入分析的復雜問題，就像一個人既會輕松閑聊，也能在需要時切換到嚴肅思考模式。多階段的課程式訓練設計讓模型能夠循序漸進地強化各項能力，避免顧此失彼。語言支持方面，微調數據覆蓋了韓語、英語、西班牙語、德語、日語和越南語六種語言的指令跟隨場景。

偏好優化階段采用了"離線偏好優化"方法，在訓練流水線的不同位置分多個階段插入。每個階段針對特定能力，包括OCR、圖表理解、視覺識別、對話、指令遵循和安全性。對于視覺任務，使用了DPO（直接偏好優化）方法，通過參考模型提供穩定的優化信號，β參數設為0.1；對于文本任務，使用了GROUPER方法，能更有效地利用包含多個拒絕回答的數據集，G參數固定為4。兩種方法分別針對視覺和文本任務的特點量身選用，而非一律套用同一算法。

強化學習階段通過跨文本和視覺的聯合多模態強化學習進一步增強推理能力。文本數據涵蓋數學、編程、知識和指令遵循任務；視覺數據涵蓋通用視覺理解、STEM推理、圖表、OCR、文檔理解和多圖場景。獎勵機制上，文本任務沿用K-EXAONE的獎勵系統，視覺任務則針對不同任務設計了專門的獎勵函數。策略優化使用了GRPO算法配合IcePop設置，并應用了零方差過濾——即如果一組樣本中所有樣本的優勢值都為零，就直接跳過該組。優勢值的計算方式是每個樣本獎勵減去組內平均獎勵，同時省略了標準差歸一化，以保持訓練穩定性。

六、評測結果：用數字說話，它究竟有多厲害

在視覺基準測試方面，研究團隊將EXAONE 4.5（33B參數）與多個強勁對手進行了比較，包括GPT-5 mini（OpenAI的強力閉源模型）、Qwen3-VL-32B（阿里巴巴的32B密集模型）、Qwen3-VL-235B（阿里巴巴的超大規模混合專家模型，總參數236B但每次激活約23B）以及Qwen3.5-27B（密集型推理模型）。

在STEM和推理類測試中，EXAONE 4.5的表現相當亮眼。在MATH-VISION數學視覺推理測試中得分75.2，超過了參數規模是它七倍以上的Qwen3-VL-235B（74.6分）；在WE-MATH測試中得分79.1，同樣高于Qwen3-VL-235B（74.8分）。面對GPT-5 mini這個強勁的閉源對手，EXAONE 4.5在MMMU-PRO上取得68.6分（GPT-5 mini為67.3分），在MATH-VISION上取得75.2分（GPT-5 mini為71.9分），均有超越。MMMU（大規模多學科多模態理解）得分78.7，MATHVISTA（mini）得分85.0，LOGICVISTA得分73.8。

文檔理解是EXAONE 4.5的重點強化領域。在CHARXIV圖表理解測試中得分71.7，明顯高于Qwen3-VL-235B的66.1分。在AI2D圖示理解測試中得分89.0，超過GPT-5 mini的88.2分。在OMNIDOCBENCH文檔基準測試中得分81.2，超過GPT-5 mini的77.0分。CHARTQAPRO圖表問答得分62.2，OCRBENCH v2光學字符識別得分63.2。

通用視覺測試方面，在BLINK測試中得分68.8，超過Qwen3-VL-235B的67.1分；MMSTAR得分74.9，HALLUSIONBENCH得分63.7。

韓語視覺理解方面，KMMMU得分42.7，高于GPT-5 mini的42.6分和Qwen3-VL-235B的42.1分；K-VISCUIT得分80.1，高于GPT-5 mini和Qwen3-VL-32B的78.5分；KRETA得分91.9。

在語言基準測試方面，對比的模型增加了LG自己的K-EXAONE-236B-A23B（更大規模的混合專家模型）。推理類測試中，EXAONE 4.5在LIVECODEBENCH V6編程能力測試上取得81.4分，超越所有對比模型，包括K-EXAONE的80.7、GPT-5 mini的78.1、Qwen3-VL-235B的70.1和Qwen3.5-27B的80.7。AIME 2026數學競賽測試得分92.6，排名第二（僅次于Qwen3.5-27B的93.2分，但高于GPT-5 mini的92.4分和K-EXAONE的92.2分）。GPQA-DIAMOND研究生水平問答得分80.5，MMLU-PRO得分83.3。

智能體工具使用測試（τ?-BENCH）是EXAONE 4.5的另一個亮點。在零售場景子集得分77.9，航空場景得分56.5，電信場景得分73.0，加權平均綜合得分72.0，大幅超過Qwen3-VL-235B的57.0分。指令遵循測試中，IFBENCH得分62.6，高于Qwen3-VL-235B的59.2分；IFEVAL得分89.6，高于Qwen3-VL-235B的88.2分。

長上下文理解測試AA-LCR得分50.6。韓語語言測試中，KMMLU-PRO得分67.6，高于K-EXAONE的67.3分；KOBALT得分52.1，超過Qwen3-VL-235B的51.1分。多語言測試中，MMMLU覆蓋韓語、德語、西班牙語、日語四種語言，得分85.4；WMT24++翻譯測試覆蓋五種語言（含越南語），得分91.5，超過K-EXAONE的90.5分。

七、EXAONE 4.5能在工業場景里做什么

以工廠為例：傳統的質量檢測需要人工在流水線旁盯著產品一個個檢查，不僅費人力，還容易因為疲勞產生漏檢。有了EXAONE 4.5這樣的視覺語言模型，AI可以實時分析流水線攝像頭的視頻畫面，自動識別產品表面的劃痕、變形、顏色異常等缺陷，同時還能用語言描述發現了什么問題，給出處理建議，甚至生成質檢報告。

在工程維護領域，工程師有時需要翻閱厚厚的技術手冊、對照復雜的管道示意圖，才能判斷某個設備的故障原因。EXAONE 4.5可以同時"看"圖紙、"讀"說明書，把視覺信息和文字信息綜合起來，自動完成合規檢查，生成診斷報告，大幅縮短維修響應時間。

從更長遠的視角來看，EXAONE 4.5在LG的技術路線圖中承擔著"跳板"的角色。研究報告明確指出，視覺語言能力是邁向"視覺-語言-動作"模型（VLA）的關鍵一步。VLA模型不僅能看懂圖像、理解語言，還能將這些理解轉化為實際的物理操作指令，指揮機器人在工廠、倉庫、醫院等真實環境中自主完成任務。EXAONE 4.5就是這條路上不可或缺的基礎設施。

八、模型的局限性和使用條款

任何技術都有其邊界，LG的研究團隊在報告中坦誠地列出了EXAONE 4.5的局限性。模型生成的內容基于訓練數據中的統計規律，可能會包含個人信息、有害內容或帶有年齡、性別、種族等方面的偏見；也可能在語義或語法上出現錯誤；由于訓練數據有截止日期，模型不反映最新信息，可能給出過時或不準確的答案。LG明確表示，模型生成的文字不代表LG AI研究院的立場，用戶不得將模型用于任何違反LG AI倫理原則的活動。

使用授權方面，EXAONE 4.5采用的是EXAONE AI模型許可協議1.2版（非商業版），由LG管理發展研究院作為許可方授權。該協議允許用戶訪問、下載、安裝和使用模型，但僅限于研究和教育目的，涵蓋評估、測試、學術研究、實驗、學習、教學、培訓以及非商業性質的競賽參與。用戶可以公開披露基于模型或衍生品的研究結果，也可以修改模型并在研究和教育范圍內創建衍生品，修改后的模型名稱必須以"EXAONE"開頭。協議明確禁止將模型用于任何商業目的，禁止逆向工程、違法使用和不道德使用，并禁止將模型用于開發或改進與LG模型競爭的產品。

說到底，EXAONE 4.5的發布代表著LG在AI領域的一次重要跨越——不僅是技術上的跨越，更是開放理念上的跨越。一個33B參數的開放權重視覺語言模型，能夠在數學推理和文檔理解上挑戰參數規模是它七倍的競爭對手，在編程能力測試上力壓一眾強敵，在韓語理解上展現出獨特優勢，這樣的成績確實值得記錄。

未來EXAONE系列將繼續向更多領域和應用場景擴展，研究團隊也明確了向視覺-語言-動作模型演進的方向。如果你對這個領域感興趣，不妨追蹤LG AI研究院的后續動態，或者通過arXiv編號2604.08644v1查閱這份完整的技術報告，親自探索這些技術細節背后的更多可能性。

Q&A

Q1：EXAONE 4.5和普通的文字AI有什么區別？

A：EXAONE 4.5是一個視覺語言模型，意味著它既能理解文字，也能看懂圖像。普通的文字AI只能處理文本輸入，而EXAONE 4.5能同時分析圖片內容和文字描述，適合工廠質檢、工程圖紙分析、文檔解析等需要同時處理圖文信息的場景。

Q2：EXAONE 4.5支持哪些語言？

A：EXAONE 4.5支持六種語言，分別是韓語、英語、西班牙語、德語、日語和越南語。其中韓語是重點優化方向，模型在韓語理解和文化知識方面有專項數據訓練，在多個韓語基準測試上的表現超過了一些參數規模更大的競爭對手。

Q3：EXAONE 4.5可以商用嗎？

A：不可以直接商用。EXAONE 4.5采用非商業許可協議，僅允許用于研究、教育、學術實驗等非商業目的。如果企業或開發者希望將其用于商業產品或服務，需要與LG管理發展研究院單獨簽署商業許可協議。