來源：2025年度農村金融機構科技創新優秀案例評選

獲獎單位：安徽省農信社

榮獲獎項：信息安全創新優秀案例

一、項目背景

（一）項目背景

在數字化浪潮下，安徽省農村信用社聯合社（以下簡稱“省農信社”）信息系統運維安全面臨嚴峻挑戰：運維誤操作可能引發客戶資金損失、數據泄露等風險，而現有堡壘機每日產生500小時審計視頻，依賴人工全量稽核存在稽核人員水平參差不齊、風險識別效率低、安全管理滯后（事故數天或數周后才察覺）等三大痛點。盡管引入了防火墻、入侵檢測系統等安全產品，但傳統人工稽核模式已無法滿足運維安全高效管控需求。

（二）項目目標

1.替代傳統人工抽查，實現審計視頻全量自動化稽核，為運維安全監測提供科學依據；

2.構建特定威脅事件場景（如：打開SAP財管軟件、批處理作業）的安全監測模型，精準定位高危操作；

3.搭建機器學習訓練平臺，支持模型全生命周期管理，實現威脅事件模型自主拓展，推動成果落地應用。

二、項目方案

（一）總體架構

圖1研究產出示意拓撲圖

系統由三大核心模塊構成：非侵入式智能化操作平臺、行為監測算法模塊、機器學習訓練平臺。三者協同實現“數據采集-行為識別-風險預警-模型優化”閉環：操作平臺采集審計視頻，算法模塊識別風險行為，訓練平臺持續優化模型，保障系統高效、精準運行。

（二）關鍵技術實現

1.非侵入式智能化操作技術

通過HDMI接口采集終端屏幕圖像，HID技術模擬鍵鼠操作；開發表格識別、驗證碼識別算法，還原圖像中文本、數字信息；構建可視化流程編排引擎，支持判斷、等待、循環等任務節點，實現自動化操作。

圖2流程引擎主要功能

2.行為監測算法

基于CNN-LSTM模型進行時序視頻幀識別，每段視頻拆分為不超過10秒的動作片段提升訓練有效性；采用最大幀間差法計算相鄰幀像素差值，自適應提取關鍵幀，減少數據量；模型在自有數據集上準確率達80%-90%。

圖3基于時序的視頻幀序列識別網絡架構示意圖

圖4模型采用的視頻數據集說明

3.機器學習訓練平臺

應用流水線技術，集成數據管理、模型訓練、超參數優化、部署服務功能；支持多種算法集成與標準化組件，關聯數據與模型版本；提供圖形化界面，展示訓練指標（準確率、損失值），實現模型一鍵發布至操作平臺。

圖5模型損失與準確率隨訓練輪次的波動曲線

圖6模型生產全流程示意圖

三、創新點

（一）非侵入式運維安全監測技術突破

采用HDMI+OTG非侵入式方案，無需在終端安裝插件，實現硬件無關、系統無關的自動化操作與視頻采集，避免傳統侵入式方案對系統安全性的影響。通過計算機視覺技術（圖像匹配、行為識別），完成審計視頻全量稽核，解決人工稽核覆蓋不全問題，同時保障數據不出局，符合金融數據安全要求。

（二）時序分析的行為監測算法優化

創新結合CNN-LSTM混合模型與動態幀優化技術：CNN提取單幀操作特征，LSTM捕捉跨幀時序行為模式；采用最大幀間差法提取關鍵幀，去除60%冗余數據，推理效率提升近10倍。同時，模板匹配與深度學習協同，兼顧已知風險高效檢出與新型異?？焖夙憫?，實現分鐘級風險預警。

（三）全流程自動化機器學習平臺

構建標準化機器學習流水線，支持從數據采集、預處理、模型訓練到部署的全流程自動化。運維人員僅需更新指定位置訓練視頻，即可觸發模型自動進化，將常規模型開發人力投入降低80%，迭代周期壓縮至6小時級，解決模型開發滯后于威脅演進的問題。

四、項目過程管理

項目立項與籌備階段（2024年7月-9月）：完成立項、需求分析、方案設計，采購HDMI采集卡、HID模擬設備等硬件，搭建實驗環境；

關鍵技術研究與算法開發階段（2024年9月-11月）：攻克非侵入式操作技術，開發表格識別、驗證碼識別算法；完成CNN-LSTM行為監測模型及關鍵幀提取算法開發與測試；

平臺開發與集成階段（2024年11月-12月）：搭建機器學習訓練平臺，集成三大模塊，完成功能測試與性能測試；

系統上線與試運行階段（2024年12月）：系統正式上線，輸出每日值班日常合規性檢查報告（含用戶名、視頻時間、事件名稱及次數），試運行期間穩定運行。

五、技術實現特點及優勢

（一）非侵入式智能化操作理論的創新應用

本項目基于“無植入式人機交互”理論，在運維安全監測領域創新性地提出了基于計算機視覺和人工智能技術的非侵入式智能化操作方法。傳統的運維監測通常依賴于侵入式軟件或硬件代理，存在安全風險，而本項目通過HDMI和HID交互引擎模擬鼠標鍵盤輸入實現系統級操作控制，實現了硬件無關、系統無關的全流程自動化操作，避免傳統自動化技術對目標終端的代碼侵入，保障系統安全性與穩定性。本項目開發的自動化操作工作平臺通過設計基于時空關聯的任務編排理論，支持復雜業務流程的智能化分解與重組，實現跨平臺操作的端到端自動化執行。這一理論突破為非侵入式運維安全監測提供了新的研究范式，有助于推動計算機視覺在遠程控制、智能審計和自動化運維等領域的應用發展。

（二）基于時序分析的視頻行為識別理論

傳統的視頻行為識別方法大多依賴于單幀圖像的特征提取，而本項目基于時序分析，提出了結合模板匹配與LSTM神經網絡的視頻幀序列識別方法。該方法通過卷積神經網絡（CNN）提取視頻幀圖像的靜態特征，同時利用長短期記憶網絡（LSTM）建模用戶操作行為的時間動態特征，從而在視頻序列中準確識別特定的操作模式，提高對威脅事件的監測精準度。此外，通過采用將完整視頻拆分為不同動作片段的方式（每段不超過10秒），顯著提升訓練數據的有效性，提高模型對不同操作步驟的識別能力。該理論創新填補了時序行為監測在智能審計領域的空白，提升了人工智能在自動化審計和異常檢測方向的適用性和有效性。

（三）機器學習訓練流水線的自主適應能力

本項目構建了智能學習訓練平臺，結合機器學習流水線技術，提出了模型全生命周期管理的理論體系。一是支持私有化部署環境下的動態資源分配與高效數據管理，通過分層解耦設計實現模型訓練、調優與部署的全流程自動化；二是學習訓練平臺通過圖形化界面展示訓練過程，提供直觀的模型評估手段，提高用戶的可操作性；三是構建了多模態數據融合理論模型，針對不同威脅事件場景；四是建立差異化特征提取機制，解決動態界面與靜態操作的統一建模難題。

六、運營情況

系統已在安徽省農信社信息技術中心推廣，用于審計視頻自動化稽核與風險監測。運維人員通過平臺查閱每日操作視頻（篩選時間、主機地址、播放/關閉視頻）系統自動輸出PDF格式稽核報告，無需人工干預。系統支持每日500+小時視頻全量處理，關鍵幀提取率10%-20%，打開SAP財管軟件、批處理作業兩個場景監測準確率穩定，機器人可準確識別并記錄事件，從操作發生到分析結果生成延遲滿足實時監測需求，系統穩定運行率99.9%以上。

七、項目成效

（一）經濟效益

1.人力成本節?。簜鹘y人工日均處理4.21GB視頻，需12人天處理50GB日均視頻；系統僅需1人天，月均節省11人月，按技術人員人月2萬元計算，年節省264萬元；

2.運維成本降低：減少誤操作導致的系統修復成本，降低安全事故經濟損失。

（二）社會效益

1.提升運維安全水平：實現審計視頻全量稽核，風險識別從“滯后”轉為“實時預警”，保障客戶資金與數據安全；

2.樹立行業標桿：為農村金融機構提供可復制的AI運維安全方案，推動金融科技在運維領域的深度應用；

3.助力數字化轉型：通過自動化、智能化技術，提升安徽省農信社科技運維能力，為業務高質量發展奠定安全基礎。

八、經驗總結

本項目成功的核心在于“需求導向+技術創新+協同研發”：以安徽省農信社實際運維痛點為出發點，聯合中國科技大學攻克非侵入式技術、時序算法等關鍵難題，實現技術與業務深度融合。項目成果不僅解決當前稽核效率問題，更通過機器學習平臺保障可持續性，可拓展至更多威脅場景。未來，可進一步擴大非侵入式操作平臺應用場景（如智能審計、遠程控制），優化模型泛化能力，推動農村金融運維安全向更高水平發展。

更多金融科技案例和金融數據智能優秀解決方案，請在數字金融創新知識服務平臺-金科創新社案例庫、選型庫查看。