福建
歌官方發(fā)布全新AI壓縮算法TurboQuant，針對大語言模型、向量搜索引擎核心痛點，攻克鍵值緩存內存瓶頸難題，可實現(xiàn)約6倍內存節(jié)省，大幅降低AI系統(tǒng)部署門檻與算力成本，引發(fā)全球AI行業(yè)高度關注。該算法專為大模型推理階段優(yōu)化，不損失模型性能的前提下，大幅壓縮緩存占用空間，讓中小算力設備也能流暢運行高端大模型，推動AI技術普惠化。
AI生成
隨著大模型上下文窗口不斷擴大，鍵值緩存占用內存激增，成為制約AI模型運行速度、普及應用的核心瓶頸。普通設備難以支撐大模型高效運行，高端算力設備成本高昂，導致AI落地成本居高不下。谷歌TurboQuant算法通過精準壓縮、高效解碼技術，針對性解決緩存占用問題，經(jīng)過實測，在保持模型響應速度、回答精度不變的情況下，內存占用降至原先的六分之一左右，既能提升推理速度，又能降低硬件投入，兼具實用性與經(jīng)濟性。
業(yè)內分析，該算法商用落地后，將深刻改變AI行業(yè)格局。一方面，大幅降低企業(yè)、個人使用大模型的門檻，中小廠商無需采購高端算力設備，即可開展AI研發(fā)與場景應用；另一方面，推動AI模型向輕量化、終端化發(fā)展，手機、邊緣設備、工控設備均可搭載高端大模型，拓展AI應用場景。目前谷歌已開放部分技術接口，后續(xù)將推進商業(yè)化落地。國內科技企業(yè)也在加速布局AI壓縮、輕量化技術，行業(yè)競爭加劇的同時，也將推動AI技術更快融入日常生活與產(chǎn)業(yè)生產(chǎn)。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
