![]()
企業客戶在數據主權、合規性和監管要求方面面臨的挑戰日益增加,這使得AI系統的集成變得愈發重要。為滿足上述需求,IBM SQL Data Insights Pro(SQL DI Pro)于2026年3月正式上線,為z/OS平臺上的Db2數據庫引入了語義搜索、相似性發現、異常檢測以及結構化與非結構化數據的統一分析能力。SQL DI Pro將AI能力直接內嵌至Db2中,從而有效降低客戶在將數據遷移至其他分析框架時所面臨的隱私泄露、合規違規及數據不一致等風險。從研究角度而言,SQL DI Pro是AI與數據系統融合方向上的一款開創性產品,為后續更深層次的AI系統集成研究打開了大門。
該技術由IBM研究團隊負責構思與原型開發,將傳統SQL從基于語法的查詢方式擴展為AI驅動的模式發現,使開發者和數據分析師能夠從結構化與非結構化數據中挖掘出以往難以乃至無法獲取的洞察信息。
IBM Db2 for z/OS是一款關鍵任務級企業關系型數據庫管理系統,深受全球眾多大型企業機構的信賴。盡管存儲在Db2 for z/OS中的數據內容豐富、體量龐大,但隨著數據規模與復雜度的持續增長,從中提取有價值的洞察變得愈發困難。
跨業務實體的相似性檢測、企業交易中的異常檢測以及數據驅動的決策建議等應用場景,均需要超越傳統SQL的能力支撐,而僅憑常規關系型查詢難以實現這些目標。
通過將先進的語義分析能力直接嵌入Db2 for z/OS,SQL DI Pro可實現以下優勢:
更深入、更直觀的數據理解
降低對外部數據處理管道的依賴
減少運營成本與復雜度
更便捷地滿足數據主權與治理合規要求
SQL DI Pro的技術基礎
SQL DI Pro構建于同樣由IBM研究團隊開發的SQL Data Insights(SQL DI)所奠定的基礎之上。SQL DI引入了將結構化關系型數據嵌入高密度向量表示的理念,支持直接在Db2內部執行基于相似性的操作,如聚類分析和實體比較。通過將數據行轉化為潛在空間中的向量,SQL DI使關系型數據的分析超越了精確匹配謂詞的局限,從而支持對業務數據實體進行近似推理。
SQL DI Pro在此基礎上進行了大幅擴展,以充分捕獲非結構化數據中的語義內涵。在企業工作負載中,大量有價值的信息存在于自由格式文本字段中,例如客戶備注、交易描述、理賠記錄和合規文檔。這些字段通常篇幅較長、內容稀疏或語言結構復雜,難以通過傳統的基于屬性的編碼方式進行有效建模。SQL DI Pro集成了IBM的現代編碼器模型,能夠為包含長篇非結構化文本的列生成高質量的嵌入向量,從而實現超越傳統結構化數據分析的語義理解能力。
SQL DI Pro通過以下方式將非結構化列嵌入與結構化列嵌入相融合,構建出統一的語義層:
非結構化數據的列級嵌入:長文本列通過基于Transformer的編碼器進行處理,生成密集的語義向量,這些嵌入能夠捕獲文本字段間的上下文信息、主題相似性及隱性關聯關系。
結構化數據嵌入:表格屬性繼續采用專為關系型數據設計的專用模型進行編碼,保留數值關系、類別語義及列間依賴關系。
對齊至共享潛在空間:結構化與非結構化嵌入經過歸一化處理后,被映射至統一的向量空間,支持跨模態的直接比較與聯合推理。
這種統一方案使用戶能夠在Db2 for z/OS中對多樣化數據類型進行端到端的AI驅動發現,同時針對每種數據模態采用最適合的模型。
內置SQL函數與增量重訓練
SQL DI Pro引入了四個內置SQL函數以支持語義分析,這些函數可嵌入SQL語句中實現統一的數據處理。
此外,SQL DI Pro還包含一種增量重訓練算法,在新數據引入時無需對數據庫嵌入進行代價高昂的全量重訓練。該方案支持隨著新數據的到來或現有數據的變更實時更新嵌入,與全量重訓練相比,顯著降低了計算與處理開銷。這確保了數據庫嵌入始終保持最新狀態,使SQL DI Pro的高級語義搜索能夠持續反映不斷演變的數據集中的最新規律。
硬件加速與未來研究方向
SQL DI Pro借助IBM Z Telum處理器的片上AI能力,結合IBM研究團隊開發的IBM Z深度學習編譯器(zDLC)——一套專為z架構優化深度學習工作負載的編譯器框架——來加速嵌入生成與模型推理過程。
這一加速能力是使語義查詢處理在Db2 for z/OS內部得以實際運行的核心所在。嵌入生成、相似性評分、聚類分析及異常檢測等操作在面對大型企業數據集時計算量極為密集。通過針對IBM Z AI加速能力對上述工作負載進行優化,SQL DI Pro將AI能力引至關鍵任務數據側,同時降低了將敏感信息遷移至外部分析環境的需求。
IBM研究團隊還在探索將IBM Z與Spyre加速器配合使用,以進一步提升SQL DI Pro工作負載的加速能力。相關研究包括在多卡配置下使用Spyre,使語義處理任務能夠跨多個加速器并行執行,從而提高吞吐量與可擴展性。團隊還在探索Telum與Spyre的混合集成方案,使工作負載能夠根據延遲、規模、數據局部性及系統利用率等因素,自動選用最合適的加速資源。這一混合加速方向有望幫助SQL DI Pro在最大化性能與資源效率的同時,充分發揮IBM Z在安全性、治理能力、高可用性及數字主權方面的固有優勢。
Q&A
Q1:SQL DI Pro和原來的SQL DI有什么區別?
A:SQL DI主要將結構化關系型數據嵌入為密集向量,支持相似性聚類和實體比較。SQL DI Pro在此基礎上大幅擴展,加入了對非結構化數據(如客戶備注、交易描述等長文本字段)的語義嵌入能力,并通過統一向量空間將結構化與非結構化嵌入對齊,實現跨模態聯合推理,語義理解能力顯著提升。
Q2:SQL DI Pro的增量重訓練算法有什么優勢?
A:傳統方式在引入新數據時需要對所有嵌入進行全量重訓練,計算代價極高。SQL DI Pro的增量重訓練算法支持在新數據到來或現有數據變更時僅對相關部分進行更新,大幅降低了計算與處理開銷,同時保證嵌入始終反映最新的數據規律,確保語義搜索結果的準確性和時效性。
Q3:SQL DI Pro如何利用IBM Z硬件進行加速?
A:SQL DI Pro借助IBM Z Telum處理器內置的片上AI能力,結合IBM Z深度學習編譯器(zDLC)對嵌入生成、相似性評分、聚類和異常檢測等計算密集型操作進行優化加速。未來還計劃引入Spyre加速器,支持多卡并行處理,并探索Telum與Spyre的混合加速方案,以進一步提升吞吐量、可擴展性和資源利用效率。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.