2025年12月，《Lancet Digital Health》發(fā)表了一篇總結(jié)文章“Evaluation of performance measures in predictive artificial intelligence models to support medical decisions: overview and guidance”，對(duì)評(píng)估AI預(yù)測(cè)模型性能的幾大類指標(biāo)進(jìn)行了評(píng)估。文章討論了五大性能維度的32種性能指標(biāo)及其圖形化評(píng)估方法，這五個(gè)維度包括：

1)區(qū)分度（discrimination）

2)校準(zhǔn)度（calibration）

3)整體性能（overall performance）

4)分類（classification）

5)臨床效用（clinical utility）

其中，前四個(gè)維度反映統(tǒng)計(jì)性能，第五個(gè)維度則體現(xiàn)決策分析性能。

文章以ADNEX模型為例來(lái)講解這些指標(biāo)及其特性（該模型用于預(yù)測(cè)女性卵巢腫瘤的惡性概率）。文章建議以下指標(biāo)和圖表應(yīng)作為AI預(yù)測(cè)模型報(bào)告中的核心內(nèi)容：受試者工作特征曲線下面積（AUC-ROC）、校準(zhǔn)圖（calibration plot）、基于決策曲線分析的臨床效用指標(biāo)（如凈收益[net benefit]）、按結(jié)局類別展示的概率分布圖。

五大性能維度

1、區(qū)分度（discrimination）

區(qū)分度關(guān)注模型是否能為實(shí)際發(fā)生事件的個(gè)體比未發(fā)生事件的個(gè)體分配更高的事件概率。區(qū)分度反映的是相對(duì)性能，即模型所估計(jì)的概率絕對(duì)值大小并不重要，關(guān)鍵在于這些概率能否有效區(qū)分有事件個(gè)體與無(wú)事件個(gè)體。

2、校準(zhǔn)度（calibration）

校準(zhǔn)度關(guān)注模型估計(jì)的概率與實(shí)際觀察到的事件發(fā)生率之間的一致性。校準(zhǔn)度體現(xiàn)的是絕對(duì)性能，用于評(píng)估概率估計(jì)值是否過高或過低。因此，一個(gè)模型可能具有良好的區(qū)分度但校準(zhǔn)度較差，反之亦然。

3、整體性能（overall performance）

整體性能綜合了區(qū)分度與校準(zhǔn)度，通過量化模型估計(jì)的概率與真實(shí)結(jié)局（0表示無(wú)事件，1表示事件）之間的接近程度，來(lái)評(píng)估模型表現(xiàn)。

4、分類（classification）

第四和第五個(gè)性能維度需要設(shè)定一個(gè)事件風(fēng)險(xiǎn)的閾值，將個(gè)體劃分為兩個(gè)互斥的組別：低風(fēng)險(xiǎn)組（估計(jì)風(fēng)險(xiǎn)低于閾值）和高風(fēng)險(xiǎn)組（估計(jì)風(fēng)險(xiǎn)等于或高于閾值）。這種分組通常關(guān)聯(lián)著某種干預(yù)措施（例如手術(shù)），即建議對(duì)高風(fēng)險(xiǎn)個(gè)體實(shí)施干預(yù)，對(duì)低風(fēng)險(xiǎn)個(gè)體則不建議干預(yù)。因此，該閾值可稱為“決策閾值”。也可以使用多個(gè)決策閾值將個(gè)體劃分為三個(gè)或更多組別，本文聚焦于常見的單閾值情形。

分類性能關(guān)注個(gè)體被正確歸類為高風(fēng)險(xiǎn)或低風(fēng)險(xiǎn)的程度。該維度基于列聯(lián)表（又稱混淆矩陣），對(duì)分類結(jié)果（低風(fēng)險(xiǎn) vs. 高風(fēng)險(xiǎn)）與實(shí)際結(jié)局（事件 vs. 無(wú)事件）進(jìn)行交叉匯總。當(dāng)所有發(fā)生事件的個(gè)體預(yù)測(cè)概率均高于決策閾值，所有未發(fā)生事件的個(gè)體預(yù)測(cè)概率均低于該閾值時(shí)，分類性能達(dá)到完美。分類性能受區(qū)分度和校準(zhǔn)度的影響。

5、臨床效用（clinical utility）

臨床效用更進(jìn)一步，在評(píng)估個(gè)體被劃分進(jìn)低風(fēng)險(xiǎn)或高風(fēng)險(xiǎn)組時(shí)，明確考慮了誤分類成本（misclassification costs）。"誤分類成本"是一個(gè)成熟術(shù)語(yǔ)，泛指各類誤分類（包括假陽(yáng)性與假陰性）所帶來(lái)的危害。

臨床效用評(píng)估的是基于特定決策閾值所做決策的質(zhì)量，以及使用該模型是否比不使用模型或使用其他競(jìng)爭(zhēng)模型能帶來(lái)更優(yōu)的臨床決策。因此，決策閾值應(yīng)具有臨床意義，并與誤分類成本相關(guān)聯(lián)。由于臨床效用直接關(guān)注決策質(zhì)量，它是五個(gè)性能維度中最重要的一個(gè)。

“決策閾值”的定義

大多數(shù)用于醫(yī)學(xué)的預(yù)測(cè)性AI模型，主要目標(biāo)是支持后續(xù)的臨床決策。模型得到的概率估計(jì)值可幫助改善健康結(jié)局：對(duì)低風(fēng)險(xiǎn)個(gè)體避免實(shí)施獲益有限且負(fù)擔(dān)較重的干預(yù)措施，為高風(fēng)險(xiǎn)個(gè)體更合理地選擇干預(yù)方案。因此，決策閾值應(yīng)基于醫(yī)學(xué)考量而非統(tǒng)計(jì)學(xué)依據(jù)來(lái)確定。

然而，在實(shí)踐中，決策閾值常常通過某個(gè)統(tǒng)計(jì)指標(biāo)來(lái)定（如約登指數(shù)，即靈敏度+特異度?1）。采用統(tǒng)計(jì)學(xué)指標(biāo)來(lái)設(shè)定決策閾值，不僅違背決策理論的基本原則，也脫離了臨床醫(yī)生的實(shí)際使用需求。

正確的做法是：一旦模型所要支持的具體臨床決策被明確定義后，就應(yīng)考慮使用該模型輔助決策可能產(chǎn)生的四種后果：

• 真陽(yáng)性（實(shí)際發(fā)生事件且被歸類為高風(fēng)險(xiǎn)）
• 真陰性（未發(fā)生事件且被歸類為低風(fēng)險(xiǎn)）
• 假陰性（實(shí)際發(fā)生事件卻被歸類為低風(fēng)險(xiǎn)）
• 假陽(yáng)性（未發(fā)生事件卻被歸類為高風(fēng)險(xiǎn)）

這些后果的重要性權(quán)重因干預(yù)措施的性質(zhì)與影響、醫(yī)療體系特點(diǎn)，以及醫(yī)生和患者的偏好而有所不同。

本文中的案例涉及需要手術(shù)切除卵巢腫瘤的患者。臨床使用ADNEX模型來(lái)決定應(yīng)采取高級(jí)別手術(shù)還是保守手術(shù)，通常建議將惡性概率的決策閾值設(shè)為0.1（即10%）。這意味著，當(dāng)ADNEX模型預(yù)測(cè)某患者的惡性風(fēng)險(xiǎn)為10%時(shí)，便建議其接受高級(jí)別手術(shù)。在此閾值下，每發(fā)現(xiàn)1例真正需要高級(jí)別手術(shù)的惡性腫瘤患者（真陽(yáng)性），就需要對(duì)另外9名實(shí)際為良性腫瘤的患者實(shí)施了不必要的高級(jí)別手術(shù)（即最多接受9例假陽(yáng)性）。換言之，采用這一閾值隱含的前提是：對(duì)惡性腫瘤患者實(shí)施高級(jí)別手術(shù)所帶來(lái)的醫(yī)學(xué)獲益，至少是良性腫瘤患者接受不必要高級(jí)別手術(shù)所造成傷害的9倍。

本文討論了32種性能指標(biāo)（3種區(qū)分度指標(biāo)、6種校準(zhǔn)度指標(biāo)、9種整體性能指標(biāo)、11種分類指標(biāo)、3種臨床效用指標(biāo)）（見表1），以及相應(yīng)的可視化評(píng)估方法。

表1. 本文所討論的性能指標(biāo)以及案例研究中ADNEX模型在校準(zhǔn)前后的結(jié)果

良好性能指標(biāo)應(yīng)具備的關(guān)鍵特征

本文定義了性能指標(biāo)應(yīng)具備的兩項(xiàng)關(guān)鍵特征：（1）該指標(biāo)應(yīng)為“恰當(dāng)”（proper）的指標(biāo)；（2）該指標(biāo)應(yīng)明確聚焦于是反映統(tǒng)計(jì)價(jià)值還是決策分析價(jià)值。不具備第一項(xiàng)特征的指標(biāo)不可信賴，缺乏第二項(xiàng)特征的指標(biāo)則含義模糊、難以解釋。

第三項(xiàng)理想特征是具有直觀易懂的可解釋性，但本文不詳細(xì)討論這一特征，因?yàn)榭山忉屝跃哂兄饔^性，且受使用者背景知識(shí)和熟悉程度的影響。

在醫(yī)學(xué)實(shí)踐中，對(duì)預(yù)測(cè)性AI模型的性能評(píng)估可清晰區(qū)分為統(tǒng)計(jì)性能評(píng)估與決策分析性能評(píng)估兩類。前四個(gè)性能維度關(guān)注統(tǒng)計(jì)性能的不同方面，而臨床效用維度則聚焦于決策分析性能。

統(tǒng)計(jì)性能指標(biāo)對(duì)于模型評(píng)估至關(guān)重要，但不能單獨(dú)用于判斷模型是否應(yīng)投入臨床實(shí)踐。例如，僅憑良好的區(qū)分度和校準(zhǔn)度就聲稱“該模型可用于輔助卵巢手術(shù)決策”是不恰當(dāng)?shù)摹Ｈ裟承阅苤笜?biāo)旨在超越單純的統(tǒng)計(jì)價(jià)值，則必須依據(jù)決策分析原則，要納入誤分類成本。

案例研究：卵巢癌診斷模型（ADNEX模型）

本文所使用的案例是對(duì)有卵巢腫瘤的女性預(yù)期其惡性風(fēng)險(xiǎn)。ADNEX模型由國(guó)際卵巢腫瘤分析（IOTA）聯(lián)盟開發(fā)，可在術(shù)前估計(jì)計(jì)劃接受手術(shù)的卵巢腫瘤患者患惡性腫瘤的概率[1]。該模型可用于指導(dǎo)兩類決策：（1）在腫瘤中心就診的患者選擇高級(jí)別手術(shù)還是保守手術(shù)；（2）在其他機(jī)構(gòu)就診的患者是否應(yīng)轉(zhuǎn)診至腫瘤中心。

ADNEX模型基于1999-2012年間來(lái)自10個(gè)國(guó)家（意大利、比利時(shí)、瑞典、捷克、波蘭、法國(guó)、英國(guó)、中國(guó)、西班牙、加拿大）的24家二級(jí)和三級(jí)醫(yī)療機(jī)構(gòu)共5909名患者的數(shù)據(jù)開發(fā)而成。

隨后，TransIOTA研究利用2015-2019年間來(lái)自4個(gè)國(guó)家（比利時(shí)、意大利、捷克和英國(guó)）的1家二級(jí)和5家三級(jí)醫(yī)療機(jī)構(gòu)的894名女性數(shù)據(jù)，對(duì)ADNEX模型區(qū)分良性與惡性腫瘤的能力進(jìn)行了外部驗(yàn)證[2]。

出于教學(xué)目的，本文使用該數(shù)據(jù)集計(jì)算了所有要討論的性能指標(biāo)及其95%CI，并展示了所有相關(guān)的可視化圖表。

本文評(píng)估了原始ADNEX模型的性能，以及經(jīng)邏輯校準(zhǔn)（logistic recalibration）更新后的性能（見前表1）。更新方法為：以結(jié)局為因變量，以ADNEX輸出的事件概率的logit值（線性預(yù)測(cè)因子）為自變量，擬合一個(gè)logistic回歸模型。該方法類似于機(jī)器學(xué)習(xí)中的Platt縮放（Platt scaling），常用于改善預(yù)測(cè)的校準(zhǔn)度。邏輯校準(zhǔn)本質(zhì)上是對(duì)線性預(yù)測(cè)因子進(jìn)行線性變換，因此是一種保序方法（rank-preserving method），即患者按惡性概率排序的結(jié)果在校準(zhǔn)前后保持不變。

所有R和Python代碼，以及894名參與者的惡性風(fēng)險(xiǎn)估計(jì)值和實(shí)際結(jié)局?jǐn)?shù)據(jù)，均已公開于GitHub代碼倉(cāng)庫(kù)，鏈接如下：

https://github.com/benvancalster/PerfMeasuresOverview

參考文獻(xiàn)：

1.BMJ. 2014; 349:g5920

2. Br J Cancer. 2024; 130:934-940

本文整理自：Lancet Digit Health. 2025 Dec 13:100916.

受篇幅限制，本篇文章先介紹到這里，在后面一篇推文中，我們?cè)俳榻B這篇文章的后半部分，即針對(duì)各種性能指標(biāo)的描述以及相應(yīng)的可視化方法，敬請(qǐng)期待。