Zyphra推出Zamba2-mini：以高效性能重新定義設備端AI的小語言模型

Zyphra公司近日發布了Zamba2-mini 1.2B，一款專為設備端應用程序設計的尖端小語言模型。

這款端側開源AI模型共有12億參數，并且在4bit量化下內存占用低于700MB。被稱為端側SOTA（state-of-the-art）小語言模型的Zamba2-mini，雖然尺寸不大，但其性能卻媲美諸如谷歌的Gemma-2B、Huggingface的SmolLM-1.7B、蘋果的OpenELM-1.1B以及微軟的Phi-1.5等更大規模的模型。

1

小身材，大能量：挑戰更大模型的性能

Zamba2-mini的發布引起了廣泛關注，原因在于它成功將高效性能與低內存占用結合。

這款“小鋼炮”級別的模型在推理任務中的表現令人驚嘆。與谷歌的Gemma-2B、Huggingface的SmolLM-1.7B、蘋果的OpenELM-1.1B以及微軟的Phi-1.5等更大規模模型相比，Zamba2-mini并不遜色。它不僅首次令牌時間快了一倍，還能在內存占用上減少27%。

這一性能得益于其高度優化的架構設計。Zamba2-mini結合了Transformer和遞歸神經網絡（RNN）的元素，既保留了大型密集變壓器的高質量輸出，又維持了較小模型的計算和內存效率。這種高效性使得Zamba2-mini特別適合資源有限但對高性能有需求的設備端AI應用。

2

優化架構：效率與質量的完美平衡

Zamba2-mini 1.2B的卓越表現歸功于其高度優化的架構設計。該模型結合了不同神經網絡設計的優點，既能保持大型密集變壓器的高質量輸出，又能以更小模型的計算和內存效率運行。

與前代Zamba1相比，Zamba2-mini引入了兩個共享注意力層（attention layers），增強了模型在不同深度上保持信息的能力，從而進一步提高了整體性能。此外，模型在共享注意力層中引入了旋轉位置嵌入，進一步提升了其運算效率。

3

龐大數據集與精心預訓練：卓越性能的基礎

Zamba2-mini是在一個包含三萬億個tokens的龐大數據集上進行預訓練的。

這些數據來自Zyda和其他公開來源，經過了嚴格的過濾和重復處理，以確保最高質量的訓練數據。

在annealing階段，模型還在1000億個極高質量的tokens上進行了專門訓練。這一精心設計和處理的數據集為Zamba2-mini提供了卓越的性能基礎，使其在各種推理任務中表現出色。

4

開源許可：推動行業創新的動力

Zyphra已承諾將Zamba2-mini作為Apache 2.0許可下的開源模型。此舉旨在推廣先進的AI技術，促進整個行業的創新和發展。

通過提供Zamba2-mini的開源模型權重，Zyphra使開發人員和研究人員可以在他們的項目中自由使用這一模型，推動高效語言模型的進一步研究和開發。

Zamba2-mini的出現對當前AI發展的方向提出了新的思考。在過去，AI模型的發展常常陷入“越大越好”的誤區，追求高參數量和復雜結構，往往忽略了實際應用中的資源消耗和效率問題。Zamba2-mini以其“小身材”展示了“大能力”，證明了高效和高性能不一定依賴于龐大的參數和復雜的架構。

Zamba2-mini這樣的高效小模型不僅降低了硬件的要求，還能在更多場景中靈活部署，帶來更好的用戶體驗和商業價值。

從未來發展的角度來看，設備端AI將越來越多地應用于物聯網、移動設備和邊緣計算，這些場景都對AI模型的資源消耗提出了更高要求。