拿到技嘉AI TOP ATOM那幾天,工作室里最常聽(tīng)見(jiàn)的一句話是:“這玩意兒真能跑千億模型?”
不怪大家質(zhì)疑,這臺(tái)機(jī)器比巴掌大不了多少,150mm見(jiàn)方,50.5mm厚,銀灰色鐵殼子,沒(méi)燈沒(méi)線條,往顯示器旁邊一擱很容易被當(dāng)成外置硬盤。但就是這個(gè)不起眼的小盒子,讓工作室?guī)讉€(gè)平時(shí)在云端租卡的開(kāi)發(fā)同事動(dòng)了換設(shè)備的心思。
![]()
講個(gè)真實(shí)場(chǎng)景。有同事之前跑GLM-4.5的量化版本,得在本地搭環(huán)境、配驅(qū)動(dòng)、解決各種依賴沖突,折騰半天還沒(méi)跑通。但是技嘉AI TOP ATOM開(kāi)箱后,瀏覽器輸個(gè)IP端口,賬號(hào)密碼一填,模型已經(jīng)在里面等著了。從通電到第一次對(duì)話,前后不到五分鐘。這種體驗(yàn)上的差距,比參數(shù)表上的數(shù)字差更有說(shuō)服力。
![]()
為什么能做到?核心在于技嘉這次沒(méi)只堆硬件,而是跟趨境科技把軟件鏈路打通了。機(jī)器出廠就預(yù)裝了AIMA管理平臺(tái)和智問(wèn)應(yīng)用系統(tǒng),GLM-4.5-Air 106B模型已經(jīng)部署好,你不需要懂容器、不用管CUDA版本、不用糾結(jié)Python環(huán)境。就連后臺(tái)的管理界面都是圖形化的,GPU占用、顯存消耗、Tokens用量直接看圖表,誰(shuí)在大量消耗算力一目了然。換模型也簡(jiǎn)單,下載后放到指定文件夾,系統(tǒng)自動(dòng)識(shí)別導(dǎo)入,我們?cè)嚵薗wen 2.5 7B,幾分鐘就切換過(guò)去了。
硬件的定位其實(shí)也很清晰。NVIDIA GB10芯片采用3納米制程,CPU是20個(gè)Arm v9.2核心,GPU有6144個(gè)CUDA核心,搭配128GB統(tǒng)一內(nèi)存。這些數(shù)字的背后是一個(gè)實(shí)用邏輯:FP4精度下1000 TOPS的算力,剛好夠流暢跑千億參數(shù)模型。實(shí)測(cè)GLM-4.5-Air在500字提示詞下,文本生成速度保持在20 TPS以上,106B模型跑起來(lái)沒(méi)有卡頓。同時(shí)跑對(duì)話、向量化、重排序三個(gè)實(shí)例,系統(tǒng)自動(dòng)分配資源,互不干擾。這意味著單臺(tái)設(shè)備就能搭起RAG全鏈路,不用多臺(tái)服務(wù)器拼湊。
![]()
還有個(gè)細(xì)節(jié)容易被忽視,但實(shí)際很管用:背面的ConnectX-7接口。如果你覺(jué)得單臺(tái)不夠,拿另一臺(tái)AI TOP ATOM連過(guò)來(lái),算力和顯存直接池化,可以支撐4000億參數(shù)以上的模型。這種拼接式擴(kuò)展比一次性買大型服務(wù)器靈活得多,預(yù)算可以分步走。
![]()
散熱和噪音控制做得也不錯(cuò):TDP壓在140W,金屬外殼加?xùn)鸥耧L(fēng)道設(shè)計(jì),跑滿負(fù)載時(shí)機(jī)身溫?zé)幔L(fēng)扇聲不明顯。這對(duì)于要長(zhǎng)時(shí)間跑推理任務(wù)的場(chǎng)景很重要,畢竟沒(méi)人想在辦公桌上放一臺(tái)直升機(jī)。
現(xiàn)在回過(guò)頭看技嘉對(duì)這款產(chǎn)品的定位——個(gè)人AI超級(jí)電腦。這個(gè)說(shuō)法不夸張,但我想換個(gè)表述:它把以前需要專業(yè)技術(shù)團(tuán)隊(duì)才能在數(shù)據(jù)中心做的事,壓縮到了桌面上,而且壓縮到了小白也能用的程度。
云端租卡按小時(shí)計(jì)費(fèi),長(zhǎng)期跑下來(lái)成本不低,數(shù)據(jù)還要上傳。自己組工作站,配雙卡甚至四卡,電源、散熱、主板、機(jī)箱一套下來(lái),成本高不說(shuō),噪音和功耗也是麻煩。技嘉AI TOP ATOM工作站把這兩個(gè)痛點(diǎn)都回避了:一次性硬件投入,數(shù)據(jù)本地留存,功耗控制在240W適配器就能喂飽。
對(duì)于AI開(kāi)發(fā)者、科研人員、小型工作室,或者只是想本地跑大模型的個(gè)人用戶,這臺(tái)設(shè)備提供了另一種選擇——不是云端,不是暴力堆料的臺(tái)式工作站,而是一個(gè)剛好夠用且不用操心的桌面盒子。
![]()
AI本地化的趨勢(shì)已經(jīng)很明顯了,但硬件和軟件之間一直有個(gè)斷層。技嘉這一次把斷層接上了。值不值得入手,我的看法很簡(jiǎn)單:如果你是那個(gè)不想再折騰環(huán)境、不想再等云端排隊(duì)、想把自己的數(shù)據(jù)留在本地的人,這臺(tái)機(jī)器值得認(rèn)真考慮。它不是什么未來(lái)概念,是今天就能用上的東西。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.