新智元報道

【新智元導讀】AI視頻生成技術迅猛發展，生成內容的逼真度不斷提升，現有檢測方法已無法滿足需求。最新綜述提出「事實保真度驗證」新目標，從視覺與語言雙視角梳理出四層檢測框架，涵蓋底層線索、時空一致性、跨模態核驗及世界知識推理，強調多層證據耦合與可解釋性。

過去兩年，視頻生成模型正飛速演進，從24年底Sora剛發布時的驚艷效果，到Google Veo、Sora 2、Kling系列模型，以及今年年初的Seedance 2.0等視頻生成模型的多點爆發，AI生成視頻的質量已發生了質的飛躍，可以生成出電影級別的逼真效果的數分鐘、多人物、復雜場景下的視頻。

在日新月異的生成側對面，研究界對AI視頻檢測的關注卻不溫不火。

而在現實中我們不難觀察到，視頻的多模態性質帶來的比圖片大得多的欺騙性正帶來巨大的社會影響：

各個社交平臺上，AI生成的虛假視頻頻出，且數量、質量、覆蓋廣度均正在激增，用戶詢問Grok、豆包等基座模型「視頻是否為AI生成」，得到的答案往往只有缺乏可解釋性和可信度的是非判斷；在小紅書等平臺上，真實拍攝的視頻卻經常被標注為「疑似AI生成」。

生成側快速發展與檢測端的關注缺失之間正經歷巨大鴻溝，我們必須及時關注：在AI視頻生成快速迭代的今天，AI生成視頻檢測的研究發展到了哪一步、正在經歷怎樣的范式轉變、未來需要向哪些方向發展。

在這樣的背景下，來自MBZUAI、中國人民大學和哈佛大學的研究者綜述共同撰寫并發布了五十頁綜述，首次從視覺和語言兩個方向梳理出從低層視覺感知到高層世界級推理的技術路徑，據此分析了目前迫切需要的多層證據耦合的動態、可溯源、可解釋的可信檢測體系，現已被ACL 2026錄用，

論文鏈接：https://www.researchgate.net/doi/10.13140/RG.2.2.31713.88168

GitHub鏈接：https://github.com/dxhou/AI-Generated-Video-Detection

Homepage鏈接：https://AIgcvdetection.github.io

重寫AI生成視頻檢測的目標

圖 1｜AI 生成視頻檢測的完整流程：生成端、雙視角檢測，到證據集合

在生成式AI爆發之前，AI生成視頻會留下相對明顯的視覺偽跡，基于這個前提，在早期以換臉為代表的Deepfake場景中，幀級的視覺感知側核驗足夠有效。

而在近兩年，飛速發展生成式AI時代的視頻質量逐漸跨過了這個「前提」，人眼已越來越無法判斷真實、完整的視頻的真假。此時，只輸出二分類判斷的檢測就已經不能滿足需求，亟待回答：檢測器究竟基于怎樣的證據來支持可信的判斷。

本綜述首先將檢測問題的邊界前推：指出檢測輸出需要從「真假二分類走向可解釋、可信的結構化判斷，從而把檢測對象推進到面向視頻中的「虛擬世界」與「現實世界」之間的間隙進行核驗。

因此，綜述首先重新界定了檢測目標，重定義為「事實保真度驗證」，即核查視頻內容中關于「誰、何時、何地、發生了什么」這樣的命題是否同時在感知和認知上一致對齊真實世界，在視覺和模態間核驗之外，需要去進一步判斷視頻內容包含這些命題是否與外部「事實、物理規律與世界知識等」存在沖突。

檢測對象

AI生成視頻的三種范式

圖 2｜本綜述定義的三類 AI 生成視頻范式

2020年至今，AI生成視頻經歷了范式上的遷移：從早期Deepfake時期通過GAN進行視頻局部修改，到換口型和語音等音畫重組，再到潛空間擴散模型促生的類Sora的「世界模擬器」支持的AI視頻全合成，綜述將AI生成視頻分為如下三種范式：

保留真實載體的局部操控視頻（Local Manipulation Video, LMV）

LMV 長期是傳統Deepfake檢測最典型、最成熟的一類范式。視頻本身將真實拍攝視頻的局部區域作處理，如換臉、換背景等；而場景、人物動作、鏡頭運動、光照關系等的原始視頻的大部分結構通常還在。因此，絕大多數早期方法也正是圍繞局部偽跡、頻域特征、幾何異常和區域一致性來做。而生成模型在局部融合、光照適配和身份遷移上的能力越來越強，平臺處理和二次傳播又會把很多細小痕跡進一步抹掉；對LMV范式的檢測重點慢慢更關注檢測方法在不同場景下的魯棒性。

跨模態耦合約束下的音視頻編輯（Audio-Visual Editing, AVE）

AVE范式主要興起于2024年，這類AI生成視頻中改動的是畫面本身和聲音、口型、說話人身份、說話節奏、字幕內容等視頻內部原本已經建立好的對應關系。包括語音驅動的人臉合成、對原視頻重新配音、改口型、換說話人等。這使得檢測端需要從看視覺偽跡走向檢查視頻內部幾個模態之間的關系有沒有真的成立，把聲音、口型、身份和內容放在一起看去找到真正有判斷力的線索。

端到端生成式視頻合成（Generative Video Synthesis, GVS）

2025年爆發的GVS范式中，模型直接依靠文本、圖像、噪聲等條件信息生成整段視頻，不再依靠真實視頻做底子，給檢測端帶來了全新挑戰。

這類視頻通常在單幀或短時間內看上去很真，但在長時空序列上往往會出現漏洞：如人物的動作或在場景中的位置前后無法銜接，物體的形狀、運動發生不符合物理規律的改變，或視頻中事件本身無法真實世界中成立。

相應地，對GVS范式的檢測思路也就不能局限于局部、模態間一致性，需要走向更高層，從長程一致性、常識、物理規律、敘事和因果，命題級別的真實性和可追溯性等出發，在長空序列上核查內容本身是否可信，去看視頻內容是否可以在各個層面上均在真實世界成立。

視覺-語言雙視角下的四層檢測方法譜系

圖 3｜Vision-Language Dual-View 四層框架：前兩層偏向視覺視角，后兩層走向語言視角

當前，進行AI生成視頻檢測的模態視角已經分化，可分為兩類核心科學問題：第一類是從視覺模態出發，聚焦底層信號取證和畫面時空一致性。

另一類從語言模態出發，關注核心包括視頻本身的跨模態語言信息，判斷「視頻究竟是不是在模態間良好對齊地敘事」；以及利用語言模態引入與有關世界的知識、事實相關的推理，判斷「視頻的內容是否能經受住外部真實世界中知識、事實、規律等的檢驗」。

綜述抓住了這一轉變趨勢，提出從視覺-語言雙視角出發來組織AI生成視頻檢測的研究方法和評估范式，在此基礎上進一步提出下述從低層感知到高層認知的四層方法圖景。

包括如下四層：

Layer 1

底層視覺線索（Intrinsic Cues Analysis）：第一道篩網

layer1中的方法關注的研究問題是：在底層視覺信號上視頻是否符合真實視頻需要滿足的統計規律，以及視頻是否存在由AI模型生成或編輯操作引入的底層線索。

在底層信號上，真實視頻會滿足相應的的統計特性，同時真實拍攝處理得到的視頻會天然地與采集、編碼及后處理過程相匹配；而AI生成的過程往往會留下風格樣式單一、模型對應的水印和偽跡、可以被檢測出來的生硬的生理信號等偏離真實視頻分布的線索；第一層內的方法從視覺視角出發通過建模、抽取并放大這些底層信號來進行取證。包括檢測：

1. 頻域、紋理、邊界、噪聲模式等像素與幾何異常；

2. 脈搏耦合、肌肉微小動作、眨眼節奏等人臉上的生理信號；

3. 真實視頻和偽造視頻在特征空間中是否存在系統偏移。

Layer 2

時空一致性（Spatiotemporal Consistency）：檢查「一段視頻順不順」

Layer2中的方法針對「視頻的多幀在時空上的序列組合」的概念，關注的研究問題是：在時空維度上，視頻的圖像流是否滿足真實視頻中物體運動過程的需要滿足的特征。真實拍攝的視頻需要受限于連續的相機軌跡與現實環境場景，相鄰幀之間的主體和背景畫面會呈現符合物理可行性和相機運動的連續、可預測時空變化模式。而AI生成視頻在長時序上可能會出現物體或背景失真、畫面局域突然模糊等時空上的不連續性。包括檢測：

1. 局部物體變形、背景漂移、突發模糊、運動殘差異常等時間與運動不一致；

2. 表情變化、身份動態，畫面人物主體之間的互動節奏等人類行為與互動動態；

3. 關注時間頻率和畫面連續性相關的物理與頻率異常。

Layer 3

跨模態一致性（Cross-Modal Consistency）：視頻內部的多模態核驗

Layer 3 是整個框架里一個很關鍵的轉折點：檢測開始進入視頻內部的多模態核驗，關注的研究問題是：視頻中畫面、聲音、字幕等各模態「是否各個層面都對齊地講相同的內容」。

真實視頻在往往伴隨的音頻、文字、畫面這些模態之間高度對齊。而AI生成視頻可能存在口型–語音、身份–聲紋，畫面–文字之間系統性的錯配。第三層方法對模態間的一致性進行細粒度多角度的一致性分析。包括三種類型：

1. 檢測聲音和畫面之間的一致性；

2. 將字幕、標題、轉寫文本、說明文本引入后進行文本—視頻語義一致性推理；

3. 面向對模態間不一致的時間定位的魯棒性學習。

Layer 4

語言引導的世界級推理（Language-Guided World-Level Reasoning）著眼于視頻與真實世界的間隙

Layer4的檢測視角從「視頻內部的一致性」提升到「與外部真實世界中的規則、知識是否一致不沖突」，關注的研究問題轉變為：視頻內容在語義和事實維度上在真實世界里是否真地可能存在、是否合理。

真實視頻的所有內容都應當與真實世界的事實、物理規則等領域知識、基本常識等保持一致。而AI生成視頻的內容往往難以完全align到真實世界，這正是第四層利用的檢測空間。包括：

1. 用提示詞、文本先驗、文本原型或輕量模塊去重新校準模型的表征空間，從而使得模型更容易把看到的異常和更明確的語義類別對應起來；

2. 將檢測視為一個查證流程，構建一個會查資料、會調工具、會回頭修正判斷的調查員智能體，將判斷與證據、工具輸出、查證過程等對應起來；

3. 通過微調、偏好學習、獎勵建模和強化學習，把「如何選證據、如何組織解釋、如何給出結論」訓練進模型本身。關注給出清楚、結構穩定、證據鏈完整的檢測輸出。

生成側和檢測端的演進圖譜

圖4｜代表性檢測方法演化圖譜：生成側威脅升級與檢測端提升同步推進

上圖沿時間線呈現了生成側威脅不斷抬高「假視頻」所能達到的逼真上限，檢測技術依賴的基座模型經歷了從深度卷積網絡與循環網絡，到視覺Transformer，再到具備推理能力的視覺語言大模型與智能體系統的演進的背景下，檢測端從視覺取證逐步走向多模態驗證與高層推理檢測的演進圖譜。

綜述進一步對檢測方法的層級分布做出了時間上的統計，2020年占比僅7.7%，2023 年升至40.0%，在2025年過半。

總得來說，檢測方法的重心在持續上移：早期主要集中在第一層和第二層，而隨著生成視頻越來越平滑、越來越逼真，檢測開始更多進入第三層和第四層。

圖 5｜檢測方法分布變化統計：語言視角占比逐漸上升

檢測方法評測

面對事實保真度檢測的目標，對檢測方法的評測需要回答：模型是否掌握了可遷移的視覺線索，是否能夠識別時空和跨模態的不一致，是否能夠對事實、知識和世界約束作出有效判斷。綜述系統梳理了從傳統Deepfake時代到今天的檢測評估指標、數據集的演進。

視覺-語言雙視角下的評測指標

共享指標：Acc / AUC 仍然必要，但遠遠不夠

Acc、AUC、Precision、Recall、F1、EER、PR-AUC，及frame-level和video-level的聚合方式，仍是不同方法之間最基本的共同語言，使得不同層級的方法可以橫向比較。然而，這些基礎評測指標仍然必要，但無法承載事實忠實性驗證目標下可解釋、可信的評測要求。

視覺視角下的指標：評估真實環境干擾下還能否成立

評測的重心在于當檢測器遇到分布變化、壓縮傳播和真實環境干擾之后，其原來的線索還能不能繼續成立。分為如下兩類：

1. 低層線索的魯棒性：包括固定閾值下的 TPR@FPR=α、跨數據集測試、擾動壓力測試等。

2. 時空與物理一致性：關注video-level reporting、temporal perturbation drop、motion ablation，以及去掉時序信息之后模型會不會明顯退化，從而評估檢測器是否真的在看整段視頻的連續性，而非繼續靠單幀中的捷徑做判斷。

語言視角下的檢測路徑的覆蓋范圍更寬，評測指標已無法再用一套簡單的分類指標概括。綜述做出如下分層：

1. 跨模態對齊與時間定位：這類評估指標面向檢測在跨模態對齊上的準確性，及檢測器能否把線索定位到具體時間段。除了基礎的 Acc 和 AUC，常見指標還會加入 AP、AR、Recall@K、mAP@IoU 等。

2. 世界知識與推理：面對更高層的問題「視頻講述的事件能不能被常識、物理規律、外部知識和具體證據支撐」，檢測的評測指標需要引入 human judgments、pAIrwise preferences、question answering，以及 BLEU、ROUGE-L、METEOR、CIDEr、embedding-based similarity 這類用來評估解釋質量的指標。

數據集：按檢測對象的三類范式重新組織

絕大多數用于評估和訓練檢測方法的數據集天然會沿著前述AI生成視頻范式分化，綜述進行了如下梳理：

1. 面向LMV范式的數據集：評測重點集中在檢測方法視覺線索的穩定性，以及這些線索在失真、壓縮和跨域傳播條件下能否繼續成立；該類數據集正不斷通過吸納進時間推理和解釋性評測接近真實環境。

2. 面向AVE范式的數據集：這類數據集往往更強調精細的時間標注、更明確的跨模態對應關系，以及更強的局部錯位和語義錯配建模?？疾炷Ｐ湍芊癜l現音頻和視頻沒有在說同一件事，能否定位錯位發生的時段，能否分辨出同步問題、身份問題和語義問題。

3. 面向GVS范式的數據集：全合成視頻一方面不斷削弱顯式編輯痕跡，另一方面又持續給檢測帶來生成器多樣性、語義不對齊和遷移風險等挑戰，對應的評測變化最快；從早期收集大量全合成視頻評估檢測的正確率，發展到了LOKI、GenWorld、DAVID-X、DeeptraceReward等工作將世界模擬、缺陷級標注、人類感知的偽造線索納入評測體系。

檢測相關的評估側資源不局限于面向檢測本身的數據集。事實上，在CV和世界模型相關研究中，許多針對視頻生成模型的生成質量診斷評測及與視頻理解模型的糾錯能力的評測同樣可以作為檢測的重要參照。綜述將這些可以作為補充資源的診斷評測工作按照逐步推進的評估鏈條進行梳理：

1. 先看視頻中的對象、屬性、交互和狀態變化是否符合基本物理規律；

2. 再看世界動態與因果關系，即局部規律能否在整段視頻中延展開來，形成連續、連貫、符合世界知識的事件過程；

3. 最后看視頻理解模型等系統能否把這些生成視頻中各個層級的錯誤轉化為明確、可理解、可復核的判斷。

從「能分辨」到「能舉證」

高保真AI生成視頻正在持續抬高偽造內容的逼真上限，檢測任務所面對的問題已經越來越難用一個真假分數概括，需要進行事實保真度檢測；相應地，評測段和檢測系統也需要隨著外擴的任務邊界同樣進行拓展：

1. 證據優先的動態評測體系

面對新涌現的AI生成的長時間跨度復雜視頻，評測需要回答的就不只是「模型會不會分類」，還包括「模型究竟依賴了什么線索產生了正判或誤判」。而粗粒度評估標簽會掩蓋大量真正關鍵的信息，評測中的數據標注、模型訓練和結果報告也需一起前推，需要將視頻重新拆回到可核驗的命題單元組，把「長時序敘事」轉化為如事件鏈、實體狀態軌跡或事件圖等的可操作結構化對象，以便在長時間尺度上進行因果與約束驗證，從而進一步追問檢測「究竟抓住了哪條命題」及「證據和判斷能否一一對應」。

此外，大多數檢測器仍在「封閉世界」設定下被評估：真實部署場景中新的視頻生成模型、編輯工具和內容風格持續涌現，不同平臺引入各自的下采樣、轉碼與濾波流程。為彌補這一長期魯棒性缺口，需要借鑒 arena/leaderboard 式的持續更新機制，將新發布生成器與新平臺轉碼鏈路以流式方式納入評測集合。

1. 協同雙視角的可信、可解釋檢測系統

為實現面向前述事實忠實性的可解釋檢測，需要兼顧感知—認知兩條鏈路，將視覺視角揭露視覺偽跡和時空不一致的能力，與高層語言視角進行結構化推理的能力相結合，從而在雙視角打通四層方法圖景。一方面，當前視覺語言模型和視頻理解模型對「感知保真度」的相關判別能力較差，需要視覺視角的手段來進行補充；另一方面，對于更強生成模型和反檢測手段生成的在感知上高度保真的視頻，需要在事實層面以語言視角在語義和事實空間進行檢測。

進一步，建立「識別—定位—解釋」的顯式推理路徑。這意味著，在上述雙鏈路體系中，每一個工具的調用或知識的引用，都必須嚴格綁定到具體的論證環節。

此外，上述在「內容側」構成的檢測體系需要與可能存在的「來源側」的認證信號等進行交叉校驗，聯通內容分析與源頭追溯。最終形成跨層次、多模態的檢測體系以及可信、可解釋的證據空間。

結語

AI視頻檢測是一個只會越來越難的任務。

對未來的AIGC-V檢測研究和實際應用而言，該綜述提供了一套更接近落地需求的地圖，重新界定了AI生成視頻檢測的任務，提出了「視覺—語言雙視角」的四層框架，并據此系統梳理了已有方法、相關基準和評測指標，同時將這些層級與真實部署中的挑戰、現有評測中的缺口以及正在出現的發展方向聯系起來。

沿著這一框架，指出可信檢測所需要具備的幾個關鍵要求，包括以證據為先、結論可追溯，以及在跨生成器和真實場景條件下保持穩健。

而未來，可信的AI視頻檢測也很難再由某一個單獨領域獨立完成，它正在成為CV、NLP、多模態理解和世界模型相關研究需要共同面對的交叉議題：CV提供時空證據建模與取證穩健性，NLP提供命題拆解、推理、證據落地與解釋能力，多模態與世界模型研究則提供更強的跨模態對齊能力及關于物理、因果和時間一致性的更豐富先驗。

只有把這些能力真正結合起來，視頻檢測才能逐步超越對局部偽跡的搜索，走向一種更嚴格的「真實觀」：問題不再只是視頻看起來是否可信，而是其中的實體、事件與動態過程，是否始終忠實于真實世界的約束，去尋找把虛擬世界和真實世界之間越來越模糊的邊界。

參考資料：

https://www.researchgate.net/doi/10.13140/RG.2.2.31713.88168

編輯：LRST