來源：鑫智獎·2025第六屆金融機構數智化轉型優秀案例評選

獲獎單位：鎮江農商銀行

榮獲獎項：大模型創新優秀案例獎

一、項目背景

隨著農村金融機構數字化轉型進程加快，營業網點智能化建設已進入深水區。在中小型農村金融機構網點，LED信息屏、智能廣告機、自助體驗終端等公共顯示設備的使用率顯著提高，在提升服務效能的同時也暴露出物理安全防護短板。攻擊者可能通過偽裝成正常客戶，利用物理端口接入進行網絡安全攻擊或信息竊取。根據銀行業監管最新要求，各金融機構需履行好網絡安全主體責任，做好網絡安全防護工作，其公共顯示設備更是重點關注對象，要求各機構全面掌握每一塊屏幕的運行狀態與接入情況，確保在聯網期間有人值守并對聯網顯示設備實時監控。

二、項目方案

本項目的核心在于構建一個基于開源大模型技術棧的智能視頻分析系統，能夠對銀行網點內針對公共顯示設備（如 LED 顯示屏、廣告機、自助服務終端等）的各種物理攻擊行為（包括但不限于非授權接入、惡意設備插入、屏幕遮擋破壞、異常靠近滯留等）進行實時監測與預警。方案充分利用開源大模型在多模態理解（視頻+文本）和復雜推理方面的顯著優勢，建立“AI 識別-實時告警-日志存儲-智能追溯”的閉環主動防御體系，從而為銀行網點提供全方位的安全保障。

1.視頻流接入與預處理

輸入源通過標準RTSP(Real Time Streaming Protocol)協議接入網點部署的高清攝像頭視頻流，支持主流安防攝像頭品牌。為了降低后續 AI 分析的計算負載，保證系統的實時性，同時又能夠準確捕獲關鍵動作瞬間，項目采用了自適應幀采樣策略。具體來說，默認情況下每秒隨機抽取 1-2 幀，當檢測到運動突變時，會短暫提高采樣率（如0.5 秒內采 5 幀）。對抽取的幀進行必要的尺寸縮放后，按照時間順序拼接成短時幀序列片段(例如，每 5 秒或 10 秒處理一個片段，包含 5-10 幀)。這些片段將成為后續多模態分析的基礎單元，為整個系統的正常運行奠定堅實的基礎。

2.基于視覺類大模型的視頻內容理解

采用視覺類大模型作為視頻理解的引擎，本項目選用的Qwen2.5Max，該模型擅長將視頻幀序列轉化為連貫、詳細、富含語義的自然語言描述，預訓練數據量超過20萬億tokens，知識覆蓋面極廣，非常符合項目對于公共顯示屏視頻分析的針對性需求。使用提示詞明確告知模型任務目標，例如：

“你是一個銀行安全監控系統，專注于識別針對公共顯示設備（如廣告屏、信息屏、自助終端）的異常物理行為。詳細描述畫面中人物的動作、位置、與設備的交互，特別是任何疑似攻擊、破壞或非授權接入的行為（如插拔不明設備、遮擋屏幕、異常滯留、破壞設備等），忽略正常客戶操作。”

模型對每個輸入的視頻片段將輸出一段結構化的自然語言描述文本，例如：

“畫面中，一名身穿灰色外套的男性（約 30 歲）長時間（>1 分鐘）徘徊在自助服務終端左側。他身體微微前傾，左手似乎遮擋了終端側面的某個區域（疑似接口位置），右手在口袋中摸索。周圍無其他人員。行為可疑，疑似嘗試隱蔽接入設備。”

3.基于文本類大模型的異常行為檢測與風險評估

利用強大的文本大語言模型對先前生成的文本描述進行深度語義分析和風險評估，本項目采用的是 DeepSeekR1，該模型具有強大的通用文本理解、推理和生成能力，能夠高效地進行快速推理。設計提示詞，引導模型執行風險評估任務，例如：

“你是一個銀行物理安全風險評估專家。根據以下監控畫面描述，判斷是否存在針對公共顯示設備的物理攻擊或高風險行為。如有，請明確指出行為類型（如：非授權設備接入、屏幕遮擋破壞、異常滯留窺探、設備破壞嘗試等），評估風險等級（高/中/低），并簡要說明判斷依據。如果行為正常或低風險，請回答‘無異常’。監控描述：[輸入先前生成的文本]”

模型對每一個輸入的監控畫面文本描述進行分析并輸出評估結果，例如：

“以下監控畫面存在針對公共顯示設備的物理攻擊，攻擊類型為非授權設備接入，評估風險等級為高風險。”

4.基于評估結果的處置

當評估結果顯示存在中高風險行為時，系統將立即觸發實時告警機制。項目對接企業微信推送接口，通過企業微信將告警信息推送至指定安全負責人，以便其迅速響應處置，防止安全事件發生或升級。

5.智能追溯(RAG)

將每一次告警事件及其相關的視頻片段、文本描述與分析結果結構化后，作為知識存入向量數據庫。安全人員可通過基于 OpenUI 開發的友好前端界面，按照時間、地點、風險類型、行為標簽等條件查詢歷史告警記錄和原始分析數據（文本描述、關聯視頻片段）。發生安全事件需要回溯時，安全人員可以輸入自然語言查詢（如“查找上周所有在 XX 終端附近發生的高風險接入嘗試”），從而快速獲取相關信息，為安全事件的處理提供有力支持。

三、創新點

在技術應用方面，現有的視頻分析系統僅能識別一些基礎行為，而本項目則具有很強的針對性，著重對針對顯示設備的物理攻擊與可疑行為進行精準識別。

在業務模式方面，現有的模式通常是在安全事件發生后進行人工溯源錄像，這種方式存在明顯的滯后性。本項目則著重研究對視頻流進行實時預警的能力。

四、項目過程管理

需求分析階段：2025.02.01-2025.2.28

設計階段：2025.03.1-2025.03.15

開發階段：2025.03.15-2025.4.15 測試階段：2025.04.15-2025.4.30

系統上線：2025.05.01

五、項目成效

一是技術溢出效應，形成了可復用的視頻智能分析中臺能力，適用于多種金融場景，顯著降低了技術遷移成本;二是數字經濟賦能,通過安全底座建設，助推網點開展遠程視頻銀行等創新業務，衍生數字服務市場；三是合規成本優化，單網點年度網絡安全等級保護（等保）合規審計成本得以降低，滿足關于自動化風險管控的要求；四是服務連續性保障，減少因安全事件導致的營業中斷時長，提升網點服務可用性。

六、經驗總結

本項目在探索基于大語言模型的銀行物理安全預警系統過程中，積累了若干重要經驗。首先，技術選型與業務場景的深度融合至關重要。我們充分利用當前成熟的開源視覺與文本大模型，并針對金融網點的特定監控場景進行了深入的任務優化與提示詞工程，既控制了研發成本，也有效提升了行為識別與風險判定的準確率。其次，實時性要求與資源消耗之間的平衡是一大挑戰。通過自適應幀采樣與分級處理機制，在有限算力下實現了近實時的分析響應，為中小金融機構提供了可行的大模型落地路徑。此外，安全系統的建設必須兼顧預警與追溯。本項目通過引入RAG技術，將實時預警與事后智能檢索結合，不僅提升了主動防御能力，也強化了事件回溯分析的效率，真正實現了閉環管理。最后，跨部門協作與合規對齊是項目成功的重要保障。在開發過程中，我們與業務、風控及合規團隊保持密切溝通，確保系統設計滿足實用性要求并通過合規性審查。未來，我們將持續優化模型針對性與系統性能，進一步探索多模態大模型在中小型農村金融機構的深化應用。

更多金融科技案例和金融數據智能優秀解決方案，請在數字金融創新知識服務平臺-金科創新社案例庫、選型庫查看。