在近期的本地AI部署討論中,一個(gè)核心痛點(diǎn)始終存在:要在桌面級(jí)功耗和體積下跑動(dòng)千億參數(shù)大模型,往往需要在算力、內(nèi)存帶寬或易用性上做妥協(xié)。技嘉最新推出的AI TOP ATOM迷你工作站,直接對(duì)這一難題給出了回應(yīng)。它將NVIDIA GB10 Grace Blackwell超級(jí)芯片與128GB統(tǒng)一內(nèi)存塞進(jìn)了機(jī)箱,并聯(lián)合趨境科技預(yù)置了開(kāi)箱即用的完整軟件棧。對(duì)于需要私有化部署、又不想自研運(yùn)維管道的開(kāi)發(fā)者和中小企業(yè),這款產(chǎn)品提供了一個(gè)值得仔細(xì)考量的選項(xiàng)。
![]()
這臺(tái)150mm見(jiàn)方的機(jī)器,外觀上刻意與游戲硬件劃清了界限。銀灰色金屬機(jī)箱表面做了細(xì)磨砂處理,沒(méi)有透窗也沒(méi)有任何RGB光源。進(jìn)出風(fēng)口采用橫向柵格,內(nèi)部用強(qiáng)化筋維持結(jié)構(gòu)剛性,這種設(shè)計(jì)在保證風(fēng)道順暢的同時(shí),把滿載運(yùn)行的風(fēng)噪控制在辦公環(huán)境可接受的范圍。整機(jī)最顯眼的標(biāo)識(shí)僅是正面右下角的GIGABYTE Logo,且同樣采用低調(diào)的蝕刻或暗色處理。
![]()
接口配置直接反映了它的使用場(chǎng)景。背部提供了三個(gè)USB 3.2 Type-C、一個(gè)用于240W供電的Type-C端口、一個(gè)HDMI 2.1a、一個(gè)萬(wàn)兆R(shí)J-45,以及一個(gè)NVIDIA ConnectX-7接口。后者值得單獨(dú)說(shuō)明:通過(guò)這個(gè)接口可以直接連接兩臺(tái)AI TOP ATOM,將顯存和算力池化,從而支撐4000億參數(shù)以上的超大模型。對(duì)于需要逐步擴(kuò)展算力的開(kāi)發(fā)團(tuán)隊(duì),這種直連方式比萬(wàn)兆網(wǎng)絡(luò)轉(zhuǎn)發(fā)效率更高,延遲也更低。
![]()
真正讓這臺(tái)機(jī)器區(qū)別于普通迷你主機(jī)的是內(nèi)部架構(gòu)。CPU與GPU不再分立,而是以NVIDIA GB10 Grace Blackwell超級(jí)芯片的形式封裝在一起。這顆芯片采用臺(tái)積電3nm工藝,將20個(gè)Arm v9.2核心(10個(gè)Cortex-X925加10個(gè)Cortex-A725)與Blackwell架構(gòu)GPU通過(guò)NVLink-C2C互聯(lián)。GPU部分包含6144個(gè)CUDA核心,但由于統(tǒng)一內(nèi)存架構(gòu)以及Blackwell Tensor Core對(duì)FP4精度的原生支持,其AI推理算力達(dá)到1000 TOPS。這意味著它可以單機(jī)運(yùn)行2000億參數(shù)的模型,這是同等CUDA數(shù)量的消費(fèi)級(jí)顯卡做不到的,因?yàn)楹笳呤芟抻讵?dú)立顯存容量。
![]()
內(nèi)存設(shè)計(jì)是整個(gè)方案的另一個(gè)關(guān)鍵點(diǎn)。技嘉AI TOP ATOM工作站配置了128GB LPDDR5x統(tǒng)一內(nèi)存,CPU與GPU共享這一地址空間,帶寬為273GB/s。在運(yùn)行GLM-4.5-Air這類106B模型時(shí),F(xiàn)P4量化后的顯存占用約為68至69GB,剛好落在總?cè)萘康囊话胱笥遥舫隽擞嗔拷oEmbedding或Rerank等其他模型實(shí)例并行運(yùn)行。實(shí)際測(cè)試中,500字長(zhǎng)提示詞下的文本生成速度維持在20.96 tokens/s,4路并發(fā)時(shí)仍高于10 tokens/s。這種性能表現(xiàn)對(duì)于一臺(tái)功耗控制在140W左右的桌面設(shè)備而言,已經(jīng)超出了可用的基線。
![]()
軟件層面,技嘉與趨境科技的合作直接解決了本地AI部署最大的痛點(diǎn):環(huán)境配置。設(shè)備出廠即預(yù)裝了趨境智問(wèn)系統(tǒng),內(nèi)置智譜GLM-4.5-Air 106B模型。用戶通過(guò)瀏覽器訪問(wèn)即可進(jìn)入管理平臺(tái),這是一個(gè)圖形化的零代碼運(yùn)維界面,可以實(shí)時(shí)監(jiān)控GPU負(fù)載、顯存占用、Token消耗,并支持一鍵啟動(dòng)或切換模型實(shí)例。實(shí)測(cè)中同時(shí)運(yùn)行LLM對(duì)話、Embedding和Rerank三個(gè)實(shí)例,系統(tǒng)自動(dòng)分配資源無(wú)沖突。
面向日常使用的智問(wèn)應(yīng)用平臺(tái)則覆蓋了AI對(duì)話、文檔閱讀、會(huì)議紀(jì)要、周報(bào)生成、長(zhǎng)文寫(xiě)作等功能。其中會(huì)議助手的實(shí)時(shí)記錄與行動(dòng)項(xiàng)追蹤、AI閱讀模塊的多格式文檔摘要翻譯,均在實(shí)際工作中具備較高的使用頻率。所有處理均在本地完成,數(shù)據(jù)不離開(kāi)設(shè)備,滿足企業(yè)對(duì)私有化部署的合規(guī)要求。
![]()
從實(shí)際體驗(yàn)來(lái)看,AI TOP ATOM填補(bǔ)了一個(gè)長(zhǎng)期存在的市場(chǎng)空白:它既不是需要專業(yè)技術(shù)團(tuán)隊(duì)耗時(shí)部署的機(jī)架式服務(wù)器,也不是缺乏大模型承載能力的普通迷你PC。對(duì)于需要運(yùn)行百億至千億參數(shù)模型的算法工程師、數(shù)據(jù)科學(xué)家,或者希望將AI能力內(nèi)嵌到業(yè)務(wù)流程但又不愿承擔(dān)云端數(shù)據(jù)風(fēng)險(xiǎn)的中小企業(yè),這臺(tái)設(shè)備提供了明確的工程化路徑。它允許用戶在4到5分鐘內(nèi)從通電進(jìn)入模型推理狀態(tài),并且通過(guò)ConnectX-7接口保留了線性的算力擴(kuò)展能力。在本地AI從概念驗(yàn)證走向?qū)嶋H生產(chǎn)的過(guò)渡期,這類軟硬一體、開(kāi)箱即用的方案,可能是比自行攢機(jī)更理性的選擇。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.