內(nèi)容感知存儲（CAS）代表著傳統(tǒng)存儲系統(tǒng)的一種全新增值范式。CAS將存儲解決方案與新型AI工作負(fù)載的需求緊密對齊，其核心在于將數(shù)據(jù)處理功能下推至存儲層。具體而言，CAS利用基于大語言模型的嵌入模型在存儲系統(tǒng)內(nèi)部完成文檔向量化——這一過程通常在存儲系統(tǒng)之外執(zhí)行——從而為檢索增強生成（RAG）流水線提供支撐。

借助CAS方案，IBM讓企業(yè)能夠在統(tǒng)一的數(shù)據(jù)存儲環(huán)境下更快速、更便捷、更安全地執(zhí)行RAG操作。這一新范式是IBM戰(zhàn)略愿景的核心組成部分，旨在將AI能力直接集成到企業(yè)級存儲系統(tǒng)中，使企業(yè)無需擴張昂貴的基礎(chǔ)設(shè)施，即可從自有資產(chǎn)中挖掘出尚未被充分利用的價值。IBM存儲總經(jīng)理Sam Werner表示："企業(yè)可以從存儲系統(tǒng)中的所有文檔里獲取前所未有的洞察。這真正開啟了利用AI技術(shù)驅(qū)動業(yè)務(wù)成果的新篇章。"

CAS解決方案的核心是向量數(shù)據(jù)庫。向量數(shù)據(jù)庫專為加速數(shù)據(jù)的語義搜索而設(shè)計，能夠快速找到與AI應(yīng)用相關(guān)的文檔。IBM研究院與三星及英偉達(dá)攜手合作，成功將原型平臺擴展至在單臺服務(wù)器上支持千億級向量，同時在不超過700毫秒的查詢延遲下，保持超過90%的召回精度。

RAG為企業(yè)級AI應(yīng)用賦能

RAG正迅速成為企業(yè)利用AI從專有文檔中提取價值的主流技術(shù)。其基本思路是：大語言模型通過將用戶數(shù)據(jù)或特定領(lǐng)域信息注入提示詞（上下文），從而提供個性化的精準(zhǔn)答案。

RAG的主要優(yōu)勢在于以較低成本實現(xiàn)高精度輸出，無需昂貴且耗時的微調(diào)即可生成更準(zhǔn)確的結(jié)果。RAG包含四大核心要素：數(shù)據(jù)攝取流水線、向量數(shù)據(jù)庫、存儲系統(tǒng)以及AI加速器。數(shù)據(jù)攝取流水線借助AI模型和AI加速器，將企業(yè)文檔轉(zhuǎn)化為語義表示（即向量）。在此過程中，系統(tǒng)首先從PDF、PPT等文檔中提取文本并切分為若干片段，隨后由嵌入模型將這些片段轉(zhuǎn)換為向量并存入向量數(shù)據(jù)庫。

向量數(shù)據(jù)庫對數(shù)據(jù)進(jìn)行有序組織，以便在RAG搜索過程中執(zhí)行近似最近鄰（ANN）搜索，從而找到語義相似的片段。檢索時，用戶查詢會通過與文檔向量化相同的嵌入模型轉(zhuǎn)換為向量，再由向量數(shù)據(jù)庫依據(jù)某種向量距離度量（如余弦相似度或L2距離）識別相鄰向量。最相關(guān)向量所對應(yīng)的文本片段隨后作為提示詞的一部分傳遞給大語言模型。這一機制確保了輸出內(nèi)容植根于企業(yè)特定知識，有效降低了幻覺現(xiàn)象的發(fā)生，并提升了AI輸出結(jié)果的可信度。

千億級向量的規(guī)模挑戰(zhàn)

當(dāng)今企業(yè)級存儲系統(tǒng)支持PB級容量，存儲著數(shù)十億個文件。在CAS的應(yīng)用場景下，每個文件可能對應(yīng)數(shù)百個向量，匯總起來可輕易達(dá)到數(shù)千億的規(guī)模，這些向量最終都需要由CAS向量數(shù)據(jù)庫統(tǒng)一存儲與管理。

IBM存儲首席技術(shù)官及院士Vincent Hsu指出，隨著AI部署規(guī)模的指數(shù)級增長，企業(yè)迫切需要這一量級的數(shù)據(jù)庫來組織專有數(shù)據(jù)，以供AI有效利用。當(dāng)前市場上的向量數(shù)據(jù)庫解決方案，往往需要跨越數(shù)十乃至數(shù)百臺服務(wù)器橫向擴展，才能支撐數(shù)十億級別的向量。這種規(guī)模帶來了獨特的挑戰(zhàn)：例如，向量索引（或重新索引）以加速搜索所需的時間極長，以及托管和服務(wù)這些向量所帶來的基礎(chǔ)設(shè)施成本不斷攀升。

IBM CAS的技術(shù)架構(gòu)

IBM的CAS方案同時支持本地部署與云端部署。為降低部署成本和管理復(fù)雜性，IBM研究院專門聚焦于提升向量密度、縮短重新索引時間，以減少支撐特定數(shù)量文檔和向量所需部署的服務(wù)器數(shù)量。

該方案的第一個核心策略是將向量與索引存儲和執(zhí)行查詢的計算資源解耦，從而靈活調(diào)配查詢服務(wù)器與存儲系統(tǒng)之間的比例——這一能力由IBM Storage Scale高性能ESS文件系統(tǒng)提供支撐。

IBM Storage Scale System 6000（ESS 6000）是一款專為AI、高性能計算（HPC）及大規(guī)模數(shù)據(jù)工作負(fù)載設(shè)計的全閃存高性能存儲設(shè)備。ESS支持4U機架式機箱，最多可配置48塊NVMe FlashCore模塊（FCM）或標(biāo)準(zhǔn)NVMe QLC/TLC硬盤，單盤容量為7至60TB。系統(tǒng)支持400Gb InfiniBand或200GbitE（以太網(wǎng)）鏈路，并采用PCIe Gen 5實現(xiàn)更快速的內(nèi)部通信。單個ESS節(jié)點可支持最高340 GB/s讀取和175 GB/s寫入吞吐量，以及高達(dá)700萬的IOPS。此外，系統(tǒng)還支持英偉達(dá)GPUDirect存儲（GDS）技術(shù)，實現(xiàn)數(shù)據(jù)向GPU的高速直傳，以及用于網(wǎng)絡(luò)卸載的英偉達(dá)BlueField-3 DPU。

在提升存儲性能方面，IBM研究院與全球先進(jìn)存儲技術(shù)領(lǐng)軍企業(yè)三星展開合作。三星為ESS系統(tǒng)提供了48塊PM9D3a PCIe Gen5 NVMe企業(yè)級固態(tài)硬盤，構(gòu)建起能夠承載高吞吐量和并行處理工作負(fù)載的均衡架構(gòu)。這些硬盤基于第八代TLC V-NAND技術(shù)，單盤容量高達(dá)30.72TB，順序讀取速度最高可達(dá)12,000 MB/s，順序?qū)懭胨俣茸罡呖蛇_(dá)6,800 MB/s。作為量產(chǎn)商用企業(yè)級固態(tài)硬盤，它們既能在真實ESS環(huán)境中實際落地，又支持系統(tǒng)的彈性擴展。

為實現(xiàn)超大規(guī)模擴展，IBM研究團(tuán)隊構(gòu)建了一套采用動態(tài)分層索引結(jié)構(gòu)的解決方案——多個子索引可隨數(shù)據(jù)的增刪獨立進(jìn)行優(yōu)化和重優(yōu)化。這種方式同時提升了容錯能力，使增量更新和索引構(gòu)建更易于管理，同時不影響數(shù)據(jù)訪問。IBM研究院存儲系統(tǒng)首席研究員Daniel Waddington表示："規(guī)模問題不僅僅是增加更多向量并使這些向量可訪問，還包括在數(shù)據(jù)持續(xù)增長的同時，維持服務(wù)的性能與可用性。"

分層索引設(shè)計還便于實施分階段的系統(tǒng)維護(hù)。在層級結(jié)構(gòu)中，子索引可按需獨立重建，而不會影響整體數(shù)據(jù)庫的運行。為支持這種實時維護(hù)，研究團(tuán)隊引入英偉達(dá)GPU來提升單個索引重建的效率——原本在CPU上需要數(shù)小時完成的索引構(gòu)建，在GPU上可縮短至數(shù)分鐘。研究團(tuán)隊還特別關(guān)注如何最大化單個GPU的利用率，并實現(xiàn)跨多塊GPU的橫向擴展。

通過使用與真實數(shù)據(jù)在聚類特性上高度相似的合成數(shù)據(jù)（通過從真實數(shù)據(jù)中提取聚類屬性模型生成），研究團(tuán)隊成功演示了千億級向量（384維，全精度浮點數(shù)）的加載、索引和查詢?nèi)鞒獭３跏技虞d與頂層分區(qū)耗時9天，隨后使用6塊英偉達(dá)H200 GPU完成索引構(gòu)建，額外耗時4天。作為參照，若使用雙路Intel CPU，索引構(gòu)建時間約需120天。向量及索引在存儲上的總數(shù)據(jù)量為153 TiB。團(tuán)隊通過實驗對查詢延遲和召回精度進(jìn)行了測量——召回精度通過暴力搜索從海量數(shù)據(jù)集中提取真實值來驗證，該過程本身也耗費了數(shù)天時間。最終結(jié)果：平均查詢延遲為694毫秒，召回精度達(dá)到90%。

持續(xù)優(yōu)化的未來方向

IBM AI戰(zhàn)略的重要目標(biāo)之一，是消除阻礙企業(yè)向AI開放數(shù)據(jù)和應(yīng)用的人為軟件壁壘。借助CAS，IBM將RAG流水線中的關(guān)鍵環(huán)節(jié)交由存儲系統(tǒng)承擔(dān)，并將全新的索引能力無縫集成到用戶熟悉的文件系統(tǒng)中，使整個系統(tǒng)易于部署。

IBM與英偉達(dá)正攜手合作，通過英偉達(dá)cuVS加速向量索引構(gòu)建，進(jìn)一步壓縮索引時間。具體目標(biāo)包括：將千億級以上向量的索引時間壓縮至一天以內(nèi)；探索利用GPU加速數(shù)據(jù)加載與分區(qū)，將數(shù)據(jù)攝取時間從9天縮短至1天；以及探索在90%召回率條件下，將RAG工作流的搜索延遲降至50至100毫秒的優(yōu)化策略。

Hsu表示："我們已經(jīng)在向量數(shù)據(jù)庫中內(nèi)置了安全機制。現(xiàn)在，我們正在實現(xiàn)大規(guī)模擴展，同時又不帶來龐大的基礎(chǔ)設(shè)施占用。"

Q&A

Q1：內(nèi)容感知存儲（CAS）是什么？它和傳統(tǒng)存儲有什么區(qū)別？

A：內(nèi)容感知存儲（CAS）是IBM提出的一種新型存儲范式，核心思路是將原本在存儲系統(tǒng)之外執(zhí)行的數(shù)據(jù)處理功能（如文檔向量化）下推至存儲系統(tǒng)內(nèi)部完成。傳統(tǒng)存儲只負(fù)責(zé)數(shù)據(jù)的存取，而CAS整合了基于大語言模型的嵌入模型，能夠直接在存儲層完成文檔向量化，并支持RAG流水線。這樣企業(yè)無需擴張額外的基礎(chǔ)設(shè)施，即可在同一存儲環(huán)境下安全、高效地利用AI處理自有數(shù)據(jù)，顯著降低了部署成本和復(fù)雜度。

Q2：IBM千億級向量數(shù)據(jù)庫的性能表現(xiàn)如何？

A：IBM研究院與三星和英偉達(dá)合作，在單臺服務(wù)器上成功實現(xiàn)了千億級向量（100億條，384維全精度浮點數(shù)）的加載、索引與查詢。索引構(gòu)建使用6塊英偉達(dá)H200 GPU，耗時約4天；若用雙路Intel CPU則需約120天。向量和索引總存儲占用153 TiB。查詢性能測試結(jié)果為：平均查詢延遲694毫秒，召回精度達(dá)到90%。目前IBM與英偉達(dá)正合作，目標(biāo)是將索引時間壓縮至1天以內(nèi)，查詢延遲降至50至100毫秒。

Q3：RAG技術(shù)對企業(yè)有什么實際價值？為什么企業(yè)需要向量數(shù)據(jù)庫？

A：RAG（檢索增強生成）能讓大語言模型在回答問題時，自動檢索企業(yè)自有文檔中的相關(guān)內(nèi)容作為上下文，從而生成基于企業(yè)專屬知識的精準(zhǔn)答案，有效減少AI"幻覺"現(xiàn)象，提升輸出的可信度。相比模型微調(diào)，RAG成本更低、部署更快。向量數(shù)據(jù)庫是RAG的核心組件，負(fù)責(zé)存儲和快速檢索文檔的語義向量表示。隨著企業(yè)存儲的文件數(shù)量達(dá)到數(shù)十億級別，對應(yīng)的向量規(guī)模可達(dá)數(shù)千億，因此需要高性能、大規(guī)模的向量數(shù)據(jù)庫來支撐實際業(yè)務(wù)需求。