![]()
全球內(nèi)存短缺不斷加劇,AI對(duì)高帶寬內(nèi)存的巨大需求,把整個(gè)供應(yīng)鏈都卡死了。
嗯,蘋果也被卡脖子了
最近,蘋果官網(wǎng)上多款高內(nèi)存配置的Mac mini和Mac Studio已無法直接購買。32GB、64GB內(nèi)存的Mac mini高配版本下架,Mac Studio的256GB內(nèi)存M3 Ultra版也基本停供,僅剩96GB等低配選項(xiàng),部分高端機(jī)型的預(yù)計(jì)發(fā)貨時(shí)間甚至拉長至9-10周甚至更久。
![]()
所以,普通用戶想買一臺(tái)夠用的本地AI機(jī)器都越來越難
更別說像Jeff Geerling這哥們,搞了4臺(tái)M3 Ultra Mac Studio,塞進(jìn)了一個(gè)小4柱機(jī)架里這么玩了。。。
不過這套裝備總價(jià)差不多4萬刀(大概28?萬元人民幣左右)
你看啊,兩臺(tái)大內(nèi)存512GB+兩臺(tái)中等內(nèi)存256GB的 Mac Studio
不過他自己也說買不下手。蘋果借給他,DeskPi還送了一個(gè)迷你機(jī)架來裝。
嗯?白嫖
![]()
他沒有抱怨內(nèi)存貴、買不到,而是直接把多臺(tái)機(jī)器的內(nèi)存池化
硬生生虛擬出了1.5TB統(tǒng)一內(nèi)存的集群
這不就是高端局咯
Jeff用Thunderbolt 5把4臺(tái)機(jī)器全互聯(lián),每個(gè)Mac要和其他所有Mac直連,形成全網(wǎng)狀
然后用了一個(gè)小4柱機(jī)架把它們豎著堆疊起來,方便布線和散熱
![]()
不過要實(shí)現(xiàn)集群這個(gè)效果,當(dāng)然不是把四臺(tái)電腦擺在一起插 Thunderbolt就完了
先要在 macOS 26.2 里啟用 RDMA
RDMA是啥玩意?
簡單說,macOS 26.2新增了RDMA(Remote Direct Memory Access)支持(需在恢復(fù)模式下運(yùn)行rdma_ctl enable命令開啟)。這讓不同Mac之間可以直接訪問對(duì)方內(nèi)存,繞過CPU和內(nèi)核,大幅降低延遲。
![]()
再配合開源AI集群工具Exo 1.0,就能把整個(gè)集群當(dāng)作一臺(tái)擁有巨量統(tǒng)一內(nèi)存的超級(jí)電腦來用。
特別適合跑超大參數(shù)的本地大模型(LLM inference),比如幾百B甚至上萬億參數(shù)的量化模型。
![]()
所以,這操作給內(nèi)存短缺下的提供了一個(gè)曲線救國思路
買不到256GB/512GB?
那就買多臺(tái)中高配,通過高速互聯(lián)拼內(nèi)存池
Apple Silicon的統(tǒng)一內(nèi)存架構(gòu) + Thunderbolt 5的高帶寬
怎么說,硬件短缺逼著普通人變成極客。。。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.