PrismML發布1-bit LLM模型家族，走出隱身模式

隨著內存限制和能源成本正考驗著AI擴展的極限，壓縮正成為業界最活躍的研究領域之一。谷歌最新發布的TurboQuant針對的是鍵值緩存——推理過程中最耗內存的組件之一（延展閱讀：）。而現在，一家新創公司正致力于壓縮模型本身。

PrismML由加州理工學院研究人員創立，已走出隱身模式，獲得1625萬美元種子輪融資，并開源發布了其所謂的"1-bit"大語言模型家族。公司稱其方法可以顯著減少模型大小和能耗，同時保持與標準16-bit模型相當的性能。

Bonsai模型家族的旗艦模型是Bonsai 8B，一個在谷歌v4 TPU上訓練的80億參數模型。據PrismML介紹，該模型在MMLU Redux、MuSR、GSM8K、HumanEval+、IFEval和BFClv3等基準測試套件中表現不俗，但內存占用僅約1GB，而同等規模的典型16-bit模型約需16GB。PrismML還發布了1-bit Bonsai 4B和1.7B模型，內存占用分別為0.5GB和0.24GB。

PrismML表示，其模型實現了端到端的完全二值化，所有權重在嵌入層、注意力層和MLP塊中都被約束為單個比特，"沒有任何高精度逃生通道"。雖然量化技術已被廣泛使用，但將整個網絡推至1-bit歷來會降低模型質量，尤其是在推理任務上。公司將其成果歸功于在加州理工學院開發的新數學框架，但尚未詳細說明訓練方法或穩定技術。

PrismML CEO、加州理工學院計算機科學家和數學家Babak Hassabi將這種方法描述為AI的新范式，能夠適應多樣化的硬件環境。"我們花了數年時間開發壓縮神經網絡而不損失推理能力所需的數學理論，"Hassibi在一份聲明中說，"我們將1-bit視為起點，而非終點。"

公司聲稱其1-bit模型在現有硬件上可實現高達8倍的加速，能耗降低75-80%。PrismML還預測，未來針對1-bit操作優化的硬件可通過用更簡單的算術運算替代復雜的乘法，進一步提高效率。

參與種子輪的Khosla Ventures公司的Vinod Khosla將這項工作描述為"數學突破"，有潛力重塑AI系統的部署方式。"AI的未來不由誰能建造最大的數據中心來定義，而將由誰能以單位能源和成本提供最多智能來定義。PrismML代表了這種突破，"他在聲明中說。

這一觀點反映了AI不會局限在數據中心，而是將部署在邊緣設備和本地環境的理念。PrismML表示其模型設計用于在消費級和邊緣設備上運行，可能在智能手機、可穿戴設備和機器人中實現更強大的AI應用，而無需依賴云端基礎設施。

PrismML關于全1-bit模型能匹敵高精度系統能力的聲明，尚需在公司自有基準結果之外得到驗證。極端量化技術歷來難以在復雜推理任務中保持準確性。獨立的第三方基準測試和實際部署將是判定PrismML方法代表真正突破還是有限優化的關鍵。

在一篇博客文章中，PrismML描述了所謂的"智能密度"，這一指標試圖衡量模型在單位大小下提供多少能力。公司表示，其1-bit模型重新定義了模型大小與性能之間的權衡，以極小的占用保持了競爭力。不過，該指標取決于公司的基準選擇和定義本身，尚未得到獨立驗證。

目前，此次發布是效率驅動AI設計的又一個例子，業界正在尋找模型規模和基礎設施成本不斷攀升的替代方案。雖然谷歌TurboQuant等近期研究專注于壓縮推理的特定組件，但PrismML雄心勃勃的模型壓縮可能大大擴展AI模型可以實際運行的范圍及其部署方式。