【全球存儲觀察 | 科技熱點關注】
當前,隨著大模型行業應用的展開,打造AI基礎設施在全球受到前所未有的重視,美國星際之門,法國的France 2030……
企業可以利用AI基礎設施中的算力、存力、算法和數據,推動業務實現智能化創新與進步。特別是在智能汽車、具身智能機器人、智能制造等新興領域的發展過程中,AI基礎設施帶來的價值日益凸顯。
不過,推動AI基礎設施建設,在算力需求上呈現出了三大趨勢:算力需求分層、存算協同、GPU國產替代。其中,先進存力依然占據著基石地位。
全球存儲觀察分析指出,隨著中國存儲力量的逐漸崛起,借助AI基礎設施建設的大好機遇,加速彎道超車,大有可為。
聚焦存需求變革,以創變應萬變
AI訓練與推理的應用對高性能存儲產品可謂是剛需。近年來中國存儲廠商在高性能存儲領域不斷發力,正好可以立足當前AI應用,順勢而為,在數據存儲領域推陳出新,以滿足AI基礎設施對存儲的高要求。
伴隨DeepSeek出現,通過算法優化和混合精度訓練,大模型訓練成本已經大幅降低。開源模型開始推動推理需求爆發,推理普及化與專業化,企業可基于DeepSeek蒸餾小模型,結合領域數據微調,實現低延遲、高精度推理,邊緣端部署成為可能。同時對于數據模型精細化要求提升,就此帶來了存力需求的三大變革。
一是,刺激了數據存儲需求增加。隨著大模型的廣泛應用和推理需求的增長,數據的產生和存儲需求也在不斷增加。企業需要處理和存儲大量的訓練數據、模型參數以及推理過程中產生的中間結果,這對存儲系統的容量和性能提出了更高的要求。
二是,迫使存儲性能要求提升。為了滿足大模型快速推理的需求,存儲系統需要具備更高的讀寫速度和更低的延遲。傳統的存儲架構可能無法滿足這些要求,因此需要采用更先進的存儲技術和架構,如分布式存儲、閃存存儲等,以提高存儲系統的性能和可靠性。
三是,強化數據管理并確保安全性。大量的數據存儲也帶來了數據管理和安全性的挑戰。企業需要建立有效的數據管理系統,確保數據的一致性、完整性和可用性。同時,還需要加強數據安全防護,防止數據泄露和被惡意篡改。
聚焦AI時代的存力需求變革,唯有以創新應萬變,方能與時俱進,力爭中國存儲彎道超車。曙光存儲副總裁張新鳳分析指出,特別是在自動駕駛應用領域,每天需要采集數TB數據,并做數據存儲匯總,然后經過標注、清洗等處理后的數據,供給大模型訓練,訓練完的數據需要歸檔存儲起來。于是在每一個數據處理階段,將面對不同的存儲協議,如數據采集階段需要S3協議,數據標注處理時需要NAS協議,算法訓練時需要高性能POSIX協議,歸檔云端需要S3協議。
為此,針對支持AI訓練加速應用場景的需求,曙光存儲全新升級的ParaStor分布式全閃存儲解決方案,采取2U2N設計。其帶寬190GB/s,讀寫速度500萬 IOPS/s,大模型CKPT時間縮短到分鐘級,充分壓榨算力性能,萬億參數大模型訓練時間可以從數月縮短到數周,并且ParaStor分布式系統本身對多協議有著高效的支持能力,全面滿足自動駕駛應用場景每個處理數據階段的存儲協議需求。
然而,一個存儲設備不可能滿足AI的所有需求。因此針對訓練提速與推理應用的高要求上,需要有所不同的創新考量。
AI推理對存儲系統性能要求很高,可能大家有所耳聞,那么到底有多高呢?
全球存儲觀察分析認為,主要在于AI推理對實時性要求高,高并發請求,以及數據密集型處理要求存儲系統性能必須高之又高,可謂沒有最高只有更高。為此,我們才看到SPC存儲性能打榜,每隔一段時間,總會出現新奇跡,這也是曙光、華為等國產存儲廠商努力登榜的原因所在。
AI推理需要快速響應用戶請求,尤其是在實時交互場景中,如中大規模實時推理應用、金融行業實時交易類業務等。存儲系統需要具備低延遲特性,以確保數據能夠快速加載和處理,從而滿足這類場景應用的實時性要求。
在高并發請求上,大模型實時推理往往帶來每秒千萬級的并發請求,這對存儲系統的IO吞吐量和并發處理能力提出了極高的要求。
當然,AI推理屬于數據密集型處理的典型應用場景,尤其是在處理大規模數據集時,會涉及大量數據的讀取和寫入。因而,存儲系統需要具備高帶寬和大容量,才能支持AI推理場景下的數據快速傳輸和存儲。
為了更好滿足AI推理加速應用場景的需求,曙光FlashNexus集中式全閃存儲(8000)在AI推理領域樹立起了新的性能標桿。這款具備全球最強存儲性能的產品,擁有32控、超3000萬IOPS性能和 0.202ms的時延,通過超級隧道技術,實現RAG、KV-Cache親和,切實解決AI推理場景的存儲性能瓶頸,應對AI推理場景的實時性、低延遲、高并發、數據密集型等存儲高性能需求。
除此之外,降本增效一直是中國存儲產業發展的長期話題。因此,針對AI應用場景的需求變革,還有一個重要的事情,AI應用的數據最終會有很大一部分需要長期存儲,歸檔存儲的成本優化一直是所有存儲用戶所關注的重點之一。但是,AI應用數據的歸檔存儲需要在保障存儲高效率的前提下,去實現成本的優化。
瞄準AI降本增效的應用需求,立足高融合AI存儲需求,曙光存儲創新推出了4U60 ParaStor分布式全閃方案,實現更低成本歸檔AI數據。以1.44PB/框的超大容量和20%成本降低支撐千億參數歸檔,通過冷熱數據分層技術和智能數據調度功能,實現動態優化存儲資源的分配、跨形態熱溫冷數據無感流動,提高了存儲資源的利用率。
其實,無論是針對訓練提速、推理高質,還是極致降本的應用場景需求,都存在兩個最大的共性,那就是數據管理與數據安全,以及擴展性和靈活性。
在AI訓練與推理過程中,數據的安全性和隱私性至關重要。因而,任何一個過硬的存儲系統需要提供數據加密和訪問控制功能,以防止數據泄露和未授權訪問。值得一提的是,在數據全生命周期管理上,曙光ParaStor具備熱溫冷數據智能分級流動,支持給數據自定義標簽,過期后自動刪除。對于AI數據存儲的安全要求,曙光ParaStor憑借全棧自研能力,從操作系統、存儲架構、軟件核心模塊、存儲介質等多層面保障數據安全。提升存儲可靠性,降低數據管理成本,讓AI訓練與推理應用變得省心省力。
同時對于擴展性和靈活性的要求,隨著AI模型規模和數據量的增長,存儲系統需要具備良好的擴展性。于此,曙光存儲ParaStor分布式體系,與生俱來的擴展性與靈活性,能夠提供動態擴展能力,支持存儲資源的靈活分配,這都不在話下。
新架構重塑AI存儲,借勢加速彎道超車
兵來將擋,水來土掩。通常而言,在存儲技術創新的道路上,唯有搞定了難點、痛點,才能談得上存儲技術的真創新。
面對AI基礎設施的大好發展時機,中科曙光在存儲產品升級的背后,暗藏新架構重塑AI存儲的玄機,也借勢加速彎道超車。
首先,讓數據離GPU更近,搞定AI存儲兩大痛點。曙光存儲另辟蹊徑的XDS技術,讓數據直通GPU顯存,解決AI大模型訓練和推理場景下的存儲痛點,提升數據處理效率和存儲性能,大幅縮短了訓練時間,提高了模型的開發效率。XDS技術采用多層級智能加速,集成了算力端和存力端各維度各層級的加速引擎,實現了高效的存算協同。在存力端,XDS內嵌ParaBuffer加速引擎,在AI訓練計算節點與存儲系統之間構造大內存池,將系統整體I/O性能提升數倍,大幅降低訓練時間。
其次,實現高效數據處理,以存代算與以存促算相結合。作為一種在Transformer架構中用于提升模型推理效率的關鍵技術,中科曙光AI存儲采用的KV-Cache通過緩存已計算的Key和Value矩陣,避免在自回歸生成過程中重復計算,從而顯著提升推理效率。由此,不僅提升實時交互性能,同時也降低同等GPU資源消耗,實現更高并發推理請求,推理效率提升50%,令業界刮目相看。不僅如此,中科曙光AI存儲支持檢索增強生成RAG技術,突破大模型在知識更新、幻覺問題和推理效率上的限制。這種多源數據整合能力有助于提升模型在處理復雜問題時的準確性和全面性。
其三,打造AI數據湖,構建AI全棧數據通道。中科曙光AI存儲通過高性能池、大容量池、數據保護池打造AI數據湖解決方案,聚焦數據加工的全環節,集成數據預處理、檢查點保存/加載等,能夠自動查找、篩選和傳輸數據。
基于此,在新架構重溯AI存儲的賽道上,曙光存儲通過多年的計算、存儲等領域技術積累,擁有面向AI存儲最新發展趨勢的創新能力,不只是發布升級產品,強化AI市場策略,聚焦行業用戶創新需求,同時也在引領中國存儲行業的發展,助推先進存力賦能AI基礎設施的創新與變革。
而今大踏步邁入AI存儲時代,如此良好的發展契機,為何不順應行業發展的時代機遇,實現中國存儲高質量發展呢?
誠然,順應行業政策對AI基礎設施建設的重視與支持,像曙光、華為等中國存儲廠商正在加大研發投入,提升技術水平,推動產業發展。同時抓住AI技術的快速發展和應用的大好時機,中國存儲廠商不斷推出符合市場需求的產品和解決方案,實現市場份額更大增長,推動中國存儲高質量發展。
由此可見,借AI新基礎設施建設的上升大勢頭,繼續提升中國存力的世界影響力,中國存儲加速彎道超車也將從理想逐漸變成現實。
機不可失,時不我待。
你怎么看?
歡迎文末評論補充!
【全球存儲觀察 |全球云觀察|科技明說|阿明觀察】專注科技公司分析,用數據說話,帶你看懂科技。本文和作者回復僅代表個人觀點,不構成任何投資建議。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.