CX-Mind團(tuán)隊 投稿量子位 | 公眾號 QbitAI

胸片AI進(jìn)入了一個新階段：不再只給診斷，開始給推理

過去的醫(yī)學(xué)影像AI更像“分類器”，擅長回答有沒有病、像不像某種病。

但真實臨床需要的是一條能被醫(yī)生復(fù)核的推理路徑。

上海交通大學(xué)、上海創(chuàng)智學(xué)院與瑞金醫(yī)院聯(lián)合發(fā)布的CX-Mind，是目前首個將胸片診斷推進(jìn)為「可驗證推理鏈」的多模態(tài)大模型——

從看到異常，到解釋為什么、排除了什么、結(jié)論怎么來的，每一步都有影像證據(jù)支撐。

在橫跨23個數(shù)據(jù)集、708,473張影像的評測中，它在視覺理解、報告生成和時空對齊三大能力域平均提升25.1%。

而在真實世界測試集Rui-CXR上，多中心醫(yī)生主觀評估五項維度全部排名第一

為什么這項工作重要：醫(yī)學(xué)AI的關(guān)鍵矛盾正在改變

胸部X光是臨床最常用的影像檢查之一，也是醫(yī)學(xué)多模態(tài)大模型最重要的真實場景。

它的難點并不止于識別某個病灶，而在于把影像觀察、病灶定位、共病判斷、報告生成、歷史比較和臨床語義整合到同一個診斷鏈條中。

這也是過去很多胸片AI難以真正進(jìn)入臨床核心工作流的原因。

模型可以給出一個看似準(zhǔn)確的標(biāo)簽，但醫(yī)生仍然會追問：

依據(jù)是什么？排除了哪些可能？結(jié)論是否與報告 findings 一致？如果模型錯了，錯誤發(fā)生在觀察、鑒別還是總結(jié)階段？

CX-Mind試圖解決的，正是這個更深層的問題。

它不是把思維鏈寫得更長，也不是讓模型生成一段聽起來合理的解釋，而是把醫(yī)學(xué)推理拆成可解析的think-answer交錯單元

每一步先圍繞影像證據(jù)進(jìn)行觀察和推斷，再輸出階段性答案，隨后繼續(xù)完成鑒別、定位、報告生成或病程判斷。

換句話說，CX-Mind把醫(yī)學(xué)影像大模型的目標(biāo)從“給出答案”推進(jìn)為“給出可審查的答案形成過程”。

這使模型不再只是一個黑箱閱片工具，而更接近醫(yī)生可以協(xié)作、追問和復(fù)核的臨床推理伙伴。

CX-Mind 總體框架

CX-Mind的三重突破

第一重突破：重新定義胸片大模型的輸出范式

傳統(tǒng)醫(yī)學(xué)視覺模型大多遵循one-shot judgment路線：輸入影像，輸出標(biāo)簽、選項或報告。

即便引入CoT，也常常變成一整段難以驗證的長文本。

這樣的解釋看似完整，卻很難判斷哪些中間步驟真正來自影像，哪些只是語言模型生成的“醫(yī)學(xué)敘事”。

CX-Mind的關(guān)鍵設(shè)計是interleaved reasoning

在封閉式問題中，它逐項評估候選答案，給出保留或排除的證據(jù)；在開放式問題中，它先提出可能疾病，再圍繞每一種疾病進(jìn)行證據(jù)核驗，最后形成診斷結(jié)論。

這種輸出方式更接近真實閱片：先觀察征象，再形成假設(shè)，再進(jìn)行鑒別，最后寫出結(jié)論。

這項工作的突破性不在于“讓模型解釋自己”，而在于讓解釋成為訓(xùn)練和獎勵的一部分。

可解釋性不再是事后附加的說明，而是模型學(xué)習(xí)診斷能力時必須滿足的結(jié)構(gòu)約束。

第二重突破：用CX-Set構(gòu)建胸片專家能力譜系

要訓(xùn)練一個真正面向胸片診斷的大模型，僅靠疾病標(biāo)簽遠(yuǎn)遠(yuǎn)不夠。

CX-Mind團(tuán)隊構(gòu)建了大規(guī)模胸片指令數(shù)據(jù)集CX-Set

整合23個胸片相關(guān)公開數(shù)據(jù)集，形成708,473張影像2,619,148條指令樣本，并進(jìn)一步構(gòu)建42,828條由真實放射學(xué)報告監(jiān)督的高質(zhì)量交錯式推理樣本。

CX-Set的設(shè)計遵循一個清晰問題：一個胸片專家到底需要哪些能力？

論文將其拆解為三大能力域：

Visual Understanding用于疾病識別、單病判斷和多病共存診斷；

Text Generation用于findings、impression和summary；

Spatiotemporal Alignment用于影像-文本匹配、體位識別、疾病進(jìn)展判斷和病灶定位。

因此，CX-Mind學(xué)到的不只是“某個標(biāo)簽是否存在”，而是一套完整的胸片診斷工作流：看圖、定位、比較、鑒別、總結(jié)、生成報告

這也是它相較于單點分類模型更具基礎(chǔ)模型價值的原因。

第三重突破：CuRL-VPR 讓強(qiáng)化學(xué)習(xí)同時約束答案與路徑

醫(yī)學(xué)診斷任務(wù)的強(qiáng)化學(xué)習(xí)難度遠(yuǎn)高于一般選擇題。

開放式答案空間復(fù)雜，疾病可能共存，醫(yī)學(xué)表達(dá)存在多種等價寫法；更重要的是，最終答案正確并不代表中間推理可靠。

只獎勵final answer，容易造成獎勵稀疏、credit assignment困難和醫(yī)學(xué)幻覺。

CX-Mind提出CuRL-VPR，即curriculum-based reinforcement learning with verifiable process rewards。

它的意思是，先從簡單題練起，逐步加難；訓(xùn)練時不只看最終答案對不對，還用真實放射科報告來核查每一步推理是否有影像證據(jù)支撐。

整個訓(xùn)練流程包括醫(yī)學(xué)文本warm-up、大規(guī)模胸片指令微調(diào)、交錯式推理cold-start，以及基于GRPO的課程強(qiáng)化學(xué)習(xí)。

在獎勵機(jī)制上，CX-Mind同時使用format reward（格式獎勵）、final-result reward（最終結(jié)果獎勵）和process reward（過程獎勵）。

模型不僅需要輸出格式正確、最終答案正確，還需要讓中間think-answer步驟與真實放射學(xué)報告中的證據(jù)保持一致。

這意味著強(qiáng)化學(xué)習(xí)不再只盯著終點，而是開始關(guān)注路徑質(zhì)量。

對于醫(yī)學(xué)場景而言，這一點極其關(guān)鍵：一個來自錯誤證據(jù)的正確結(jié)論仍然不可接受，一段沒有報告證據(jù)支撐的解釋仍然可能是幻覺

同時，CX-Mind采用closed-to-open課程學(xué)習(xí)策略：先在二分類和選擇題等封閉式任務(wù)上建立穩(wěn)定可驗證獎勵，再遷移到開放式診斷任務(wù)。

這種訓(xùn)練節(jié)奏更符合臨床任務(wù)難度梯度，也讓開放式醫(yī)學(xué)推理的RL過程更穩(wěn)定。

CX-Mind四階段訓(xùn)練管線

結(jié)果：越接近真實診斷，交錯式推理越顯優(yōu)勢

視覺理解：多病共存和開放式診斷中優(yōu)勢更突出

CX-Mind在二分類、單疾病識別、多疾病共存識別和開放式疾病識別中整體領(lǐng)先。

論文顯示，相比胸片專用模型，CX-Mind在三大能力域上取得25.1%平均性能提升。

在更接近真實臨床的復(fù)雜任務(wù)中，這一優(yōu)勢更加明顯。

單疾病識別任務(wù)中，CX-Mind相比CheXagent和ChestX-Reasoner平均提升19.5%和21.0%；在多病共存診斷中，相應(yīng)提升達(dá)到63.5%和21.2%。

這說明interleaved reasoning的價值不只是改善簡單分類，而是在多異常、多證據(jù)、多候選診斷同時存在時，幫助模型更穩(wěn)定地完成臨床鑒別。

視覺理解評測

報告生成：從“識別異常”走向“專業(yè)表達(dá)”

臨床可用的胸片AI不能只給標(biāo)簽，還需要把影像發(fā)現(xiàn)轉(zhuǎn)化為規(guī)范、清晰、可修改的醫(yī)學(xué)語言。

CX-Mind在findings generation、impression generation和findings summarization等任務(wù)中取得SOTA表現(xiàn)。

與GPT-4o相比，CX-Mind在Finding Generation任務(wù)中BERTScore高1.6%、BLEU高7.6%、ROUGE平均高11.1%

在帶indication的Finding Generation中，BERTScore、BLEU 和 ROUGE 平均分別高出3.6%、21.7%和22%

在Impression Generation與Impression Generation with Indication中，CX-Mind分別達(dá)到90.3%80.7%的BERTScore。

這意味著CX-Mind不只是“看圖更準(zhǔn)”，還能夠把影像證據(jù)轉(zhuǎn)寫為與金標(biāo)準(zhǔn)報告語義一致的專業(yè)表達(dá)，為報告草擬、質(zhì)控、教學(xué)和交互式問答提供基礎(chǔ)能力。

報告生成評測

時空對齊：理解影像、文本、體位、時間和位置

真實胸片診斷往往涉及縱向比較和跨模態(tài)對齊。

醫(yī)生需要判斷同一患者不同時間點的病變進(jìn)展，也需要確認(rèn)報告描述、拍攝體位和病灶位置是否一致。

CX-Mind因此把Spatiotemporal Alignment作為核心能力之一。

在image-text matching和disease progression任務(wù)中，CX-Mind分別比最佳基線平均提升25.8%30.2%

在 OpenI外部測試集上，影像-文本匹配和體位識別分別達(dá)到76%88.3%

在 RSNA與CXR-AL14外部定位數(shù)據(jù)集上，CX-Mind的mean IoU分別達(dá)到38.5%14.9%

這部分能力指向更大的臨床空間：隨訪比較、病程追蹤、多模態(tài)病歷整合，以及未來影像Agent對患者縱向狀態(tài)的理解。

時空對齊評測

真實世界驗證：從公開數(shù)據(jù)集走向院內(nèi)場景和醫(yī)生評估

醫(yī)學(xué) AI 的影響力最終必須通過真實世界檢驗。

論文進(jìn)一步構(gòu)建Rui-CXR真實世界測試集，原始數(shù)據(jù)來自上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院骨科2018-2023年采集的80,648名患者標(biāo)準(zhǔn)PA位胸片及報告。

經(jīng)過脫敏、篩選和一致性驗證后，形成4,031張高質(zhì)量胸片測試集，覆蓋14種常見胸部疾病。

在Rui-CXR上，CX-Mind在 14 種疾病診斷中保持領(lǐng)先，mean recall@1明顯超過第二名模型。

在真實世界報告生成中，標(biāo)準(zhǔn)Finding Generation的BERTScore達(dá)到0.80，帶indication的版本達(dá)到0.82，較第二名模型平均提升約5%

Rui-CXR真實世界評測

更關(guān)鍵的是，團(tuán)隊還邀請多中心、不同資歷層級的臨床醫(yī)生進(jìn)行主觀評估，評價維度包括Clinical Relevance、Logical Coherence、Evidence Support、Differential Diagnostic Coverage、Explanation Clarity

CX-Mind在五個維度上均獲得最高平均分。

這說明CX-Mind的優(yōu)勢不只是自動化指標(biāo)，而是醫(yī)生能否讀懂、信任和復(fù)核模型輸出。

對于醫(yī)療場景而言，可審查性本身就是臨床價值的一部分

多中心醫(yī)生評估

更大的影響：從胸片模型到醫(yī)學(xué)智能體基礎(chǔ)能力

如果把CX-Mind放在醫(yī)學(xué)AI的更大圖景中，它的意義在于推動了一個關(guān)鍵轉(zhuǎn)向：

從“醫(yī)學(xué)視覺模型”走向“醫(yī)學(xué)推理模型”，再走向“可被醫(yī)生協(xié)作審查的醫(yī)學(xué)智能體”。

這一思路有望遷移到更多醫(yī)學(xué)場景。

例如，胸部CT多癌種篩查需要模型在3D影像中分層定位病灶、結(jié)合報告和病史進(jìn)行鑒別；MRI需要跨序列整合；

病理需要高分辨率區(qū)域級證據(jù)；

全流程臨床Agent更需要在入院評估、檢查解釋、治療建議和隨訪管理之間保持連續(xù)推理。

當(dāng)然，臨床部署仍需要前瞻性研究、跨醫(yī)院泛化驗證、醫(yī)生工作流集成、錯誤邊界評估和監(jiān)管審查。

但從研究范式看，CX-Mind已經(jīng)給出了一個清晰信號：

下一代醫(yī)學(xué)AI的核心競爭力，不僅是“看得準(zhǔn)”，而是“推理得清楚、證據(jù)可復(fù)核、過程可協(xié)作”。

作者簡介

論文共同第一作者為李文杰、張鈺杰、孫浩然

李文杰為上海創(chuàng)智學(xué)院、上海交通大學(xué)、上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院聯(lián)合培養(yǎng)在讀博士生，主要研究方向為Visual Reasoning、Multimodal Large Language Models與 Medical AI Agents。

張鈺杰為上海創(chuàng)智學(xué)院、復(fù)旦大學(xué)聯(lián)合培養(yǎng)博士生，主要研究方向為Vision-Language Model Reasoning、Reinforcement Learning與Large Language Models。

孫浩然為復(fù)旦大學(xué)直博二年級博士生，主要研究方向為Medical Multimodal Large Models, Self-Evolving Memory, AI4Science Experimental Automation。

論文DOI：https://doi.org/10.1016/j.inffus.2025.104027
GitHub（團(tuán)隊更新版）：https://github.com/SII-WenjieLisjtu/CX-Mind
HuggingFace：https://huggingface.co/SII-JasperLi77/CX-Mind