![]()
一步步讓AI接管風(fēng)扇、汽車、家電……從一臺(tái)筆記本開始,打造個(gè)人版“賈維斯”。
作者丨鄧天卓
編輯丨林覺民 梁丙鑒
01
暴擊:
凌晨4點(diǎn),我家的AI系統(tǒng)集體“罷工”了
2026年4月的一個(gè)凌晨,4點(diǎn)07分,一切崩潰了。
前一天晚上,我讓家里的AI通宵干活——整理NAS(網(wǎng)絡(luò)存儲(chǔ)服務(wù)器,簡(jiǎn)單說(shuō)就是“家用大型移動(dòng)硬盤”)里20年攢下的幾十TB數(shù)據(jù),包括照片、文檔、視頻,AI要一個(gè)個(gè)分類,已經(jīng)跑了整整6個(gè)小時(shí)。
結(jié)果,路由器突然重啟了。
我的筆記本自動(dòng)重連WiFi時(shí),犯了個(gè)致命錯(cuò)誤:它沒連家里的主路由,反而連上了運(yùn)營(yíng)商的光貓網(wǎng)絡(luò)。就這一個(gè)小失誤,導(dǎo)致NAS、AI服務(wù)器全部失聯(lián),六個(gè)小時(shí)的工作功虧一簣,整個(gè)家庭AI系統(tǒng)像多米諾骨牌一樣,徹底崩了。
早上7點(diǎn),我打開電腦,屏幕上全是“連接失敗”的提示——這是我用AI重建家庭數(shù)字生活的第九天,前八天的驚喜,差點(diǎn)被這一個(gè)小bug澆滅。
這一切,還要從八天前,一臺(tái)新電腦的到來(lái)說(shuō)起。
02
為什么非要讓AI幫我遷移20年的“數(shù)字垃圾”?
先說(shuō)說(shuō)我的“執(zhí)念”:20年不重裝系統(tǒng)
我是天卓,一個(gè)連續(xù)創(chuàng)業(yè)者,也是一個(gè)技術(shù)極客。
(編者補(bǔ):鄧天卓更是一個(gè)移動(dòng)互聯(lián)網(wǎng)時(shí)代的超級(jí)創(chuàng)業(yè)者+投資人,與國(guó)內(nèi)各家電商都關(guān)系匪淺。)
從最早的PowerPC電腦,到后來(lái)的Intel旗艦機(jī),再到近幾年的M1、M2、M3、M4 Max MacBook Pro,我的主力機(jī)換了一代又一代,但有一個(gè)習(xí)慣從沒變——不重裝系統(tǒng)。
每次換電腦,我都像“倒酒”一樣,用蘋果的遷移助手(Migration Assistant),把舊電腦里的所有東西,原封不動(dòng)拷貝到新電腦里。
20年下來(lái),我那臺(tái)M4 Max MacBook Pro,已經(jīng)變成了一個(gè)8TB的“數(shù)字迷宮”:幾十萬(wàn)張專業(yè)相機(jī)照片、無(wú)數(shù)投資文檔、上百個(gè)軟件的配置、從2004年開始的開發(fā)環(huán)境,還有很多我自己都記不清是什么的海量數(shù)據(jù)。
以前,我只能靠不斷買頂配電腦,才能裝下這個(gè)“迷宮”。但今年,我不想再這樣“擺爛”了——因?yàn)槲沂盏搅艘慌_(tái)“神器”:M5 Max MacBook Pro(16英寸頂配,業(yè)內(nèi)叫“皇帝版”)。
M5 Max的“殺手锏”:讓大模型“住”進(jìn)家用電腦
這臺(tái)電腦最牛的地方,是它有128GB的統(tǒng)一內(nèi)存(可以理解為“電腦的大腦運(yùn)行空間”,越大越流暢)。
放在一年前,只有數(shù)據(jù)中心的專業(yè)GPU(圖形處理器,相當(dāng)于電腦的“算力心臟”),才能帶動(dòng)650億參數(shù)的大模型(參數(shù)越多,AI越聰明);但現(xiàn)在,這臺(tái)家用筆記本就能輕松做到——比如Qwen3.5-122B的4bit量化版,只需要65GB內(nèi)存,運(yùn)行速度完全夠用。
更重要的是,模型跑在本地(就是只在我自己的電腦上運(yùn)行),數(shù)據(jù)不會(huì)傳到網(wǎng)上,既不用花錢買使用額度,也不用擔(dān)心隱私泄露。
于是我萌生了一個(gè)大膽的想法:讓AI幫我,把舊電腦里的“數(shù)字迷宮”,徹底遷移到新電腦上,順便整理干凈。
03
重頭戲:
AI當(dāng)“系統(tǒng)管理員”,遷移20年數(shù)據(jù)零翻車
打開 Claude Code,我下達(dá)了那個(gè)自己期待已久的命令:“幫我把M4上的一切,遷移到M5 Max上。”
這和傳統(tǒng)的遷移方式,完全不一樣。
傳統(tǒng)遷移vs AI遷移:一個(gè)“照搬”,一個(gè)“懂你”
蘋果的遷移助手(Migration Assistant)就是個(gè)“黑盒”——它只會(huì)把舊電腦里的所有東西,原封不動(dòng)拷貝過(guò)去,不管有用沒用,也不管兼容不兼容。
但Claude Code不一樣,它像一個(gè)經(jīng)驗(yàn)豐富的系統(tǒng)管理員,先花10分鐘給兩臺(tái)電腦“看診”:
1.掃描舊電腦上的所有軟件、代碼環(huán)境、配置文件;
2.讀取我的shell配置(電腦操作命令的設(shè)置)、SSH密鑰(遠(yuǎn)程登錄電腦的“鑰匙”)、啟動(dòng)項(xiàng);
3.分析每一個(gè)應(yīng)用,判斷哪些有用、哪些沒用;
4.檢查磁盤健康狀態(tài),避免遷移過(guò)程中出問題。
最驚喜的時(shí)刻:AI主動(dòng)幫我“斷舍離”
看診結(jié)束后,Claude Code突然問我:“你的系統(tǒng)里有14個(gè)Intel時(shí)代遺留的Rosetta翻譯層應(yīng)用(以前Intel芯片電腦的軟件,在Apple芯片上需要“翻譯”才能用),它們跟著你換了好幾臺(tái)電腦,從來(lái)沒清理過(guò)。其中8個(gè)有原生Apple芯片版本,我建議裝原生版;另外6個(gè)已經(jīng)停止更新,你確定還要嗎?”
那一刻我就知道,它真的把我那20年的“數(shù)字迷宮”走通了——它不是在“照搬”,而是在“理解”我的需求,幫我做取舍。
三層排查清單:連我自己都忘了的東西,AI都找到了
之后,Claude Code給我生成了一份三層排查清單,把要遷移的內(nèi)容分了類,連我自己都忘了的東西,它都找出來(lái)了:
1.基礎(chǔ)層:SSH密鑰、桌面文件、常用軟件列表,這些最容易想到的東西;
2.中間層:Git配置(代碼管理工具的設(shè)置)、自定義腳本、定時(shí)任務(wù),這些手動(dòng)拷貝很容易遺漏的東西;
3.深層層:60GB+的虛擬機(jī)文件、相機(jī)色彩配置文件(用專業(yè)相機(jī)的人都知道,這東西丟了就沒法還原照片色調(diào))、散落在電腦里的項(xiàng)目文件夾。
速度翻倍:AI幫我優(yōu)化遷移速度,一個(gè)周末搞定
一開始,數(shù)據(jù)傳輸速度只有33MB/s,按這個(gè)速度,遷移完要花好幾天。
Claude Code分析瓶頸后,主動(dòng)做了三項(xiàng)優(yōu)化,瞬間把速度提了上來(lái):
1.去掉壓縮功能:在萬(wàn)千兆局域網(wǎng)上,壓縮反而會(huì)占用CPU,拖慢速度;
2.換輕量級(jí)SSH加密算法:默認(rèn)的加密算法太“重”,換個(gè)簡(jiǎn)單的,速度直接翻倍;
3.大文件直接傳輸:不用增量算法(本來(lái)是用來(lái)節(jié)省傳輸流量的),在局域網(wǎng)上反而多余,直接傳更快。
最終,傳輸速度達(dá)到了210MB/s,一個(gè)周末,就完成了所有數(shù)據(jù)的遷移。
04
刷新認(rèn)知:
AI不止能遷移數(shù)據(jù),還能幫我“修電腦、省 money”
這次遷移,徹底改變了我對(duì)AI能力的認(rèn)知——它不只是一個(gè)“工具”,更像一個(gè)“全能助手”,能解決很多我沒想到的問題。
驚喜時(shí)刻1:AI記住了我所有設(shè)備的狀態(tài)
遷移過(guò)程中,Claude Code需要下載一個(gè)大型框架包,正要從官方網(wǎng)站下載時(shí),它突然停了下來(lái):“這個(gè)包我們之前在你的另一臺(tái)機(jī)器上下載過(guò),我直接從那臺(tái)電腦拷過(guò)來(lái),不用再?gòu)木W(wǎng)上下載了。”
它居然記住了我家里所有設(shè)備的狀態(tài),主動(dòng)調(diào)用其他設(shè)備的資源,省了我大量時(shí)間。
驚喜時(shí)刻2:AI破解了主板限制,給我的Windows電腦“提速”
我有一臺(tái)Windows臺(tái)式機(jī),配備了RTX 5090顯卡,但內(nèi)存被主板鎖在了4800MHz,比標(biāo)稱的6000MHz低了25%,商業(yè)超頻軟件都沒用(戴爾在BIOS里做了鎖定)。
Claude Code發(fā)現(xiàn)后,遠(yuǎn)程連接到這臺(tái)電腦,下載了主板的BIOS固件,用十六進(jìn)制編輯器反編譯,找到隱藏的內(nèi)存頻率控制寄存器,還制定了一套完整的破解方案——全程都在我下達(dá)命令的終端窗口里完成,我完全沒插手。
驚喜時(shí)刻3:AI發(fā)現(xiàn)了硬盤的“物理故障”,還教我怎么修
遷移過(guò)程中,Claude Code突然報(bào)告:“你的第二塊NVMe硬盤(高速固態(tài)硬盤)出現(xiàn)了可修復(fù)的ECC錯(cuò)誤(簡(jiǎn)單說(shuō)就是數(shù)據(jù)傳輸時(shí)出現(xiàn)了小錯(cuò)誤)。”
更厲害的是,它還給出了解決方案:“這種錯(cuò)誤通常是因?yàn)榘惭b時(shí)散熱片壓得太緊,造成了物理應(yīng)力。建議關(guān)機(jī)后,松動(dòng)散熱片右下角的固定螺絲,向上推一下再擰緊。”
這不是軟件問題,也不是驅(qū)動(dòng)問題,而是物理安裝問題——AI居然能通過(guò)掃描,發(fā)現(xiàn)這個(gè)問題,還去硬件論壇找了解決方案,精準(zhǔn)定位到具體哪顆螺絲。
意外收獲:AI幫我淘汰了所有付費(fèi)軟件,零成本搞定一切
遷移完成后,我發(fā)現(xiàn)一個(gè)意外驚喜:很多付費(fèi)軟件,我再也不用買了——因?yàn)锳I能幫我實(shí)現(xiàn)所有功能,還更好用。
舉幾個(gè)例子:
1.文件重命名:以前用付費(fèi)軟件,要么依賴云端,要么功能有限;AI幫我裝了開源工具,調(diào)用本地大模型,中英文混合命名都能搞定,零成本;
2.語(yǔ)音識(shí)別/合成:以前用云端服務(wù),按時(shí)長(zhǎng)計(jì)費(fèi);現(xiàn)在本地跑Qwen3-ASR(語(yǔ)音識(shí)別)和Qwen3-TTS(語(yǔ)音合成),免費(fèi)、實(shí)時(shí),準(zhǔn)確率還更高,還能克隆聲音;
3.知識(shí)庫(kù)管理:以前企業(yè)級(jí)方案每月要幾百美元;現(xiàn)在用本地工具加嵌入模型,拖進(jìn)文件就能問答,不花一分錢;
4.代碼審查:以前商業(yè)工具年費(fèi)幾千美元;Claude Code不僅能審查代碼,還能理解我的整個(gè)項(xiàng)目,幫我修bug、寫測(cè)試。
其實(shí)道理很簡(jiǎn)單:這些付費(fèi)軟件,都是AI不夠聰明的時(shí)代產(chǎn)物;現(xiàn)在有了本地大模型,一個(gè)通用的智能,勝過(guò)一百個(gè)專用的工具。
05
從控制風(fēng)扇開始:AI接管我家的“智能設(shè)備”
遷移完成后,一個(gè)偶然的發(fā)現(xiàn),讓我萌生了讓AI接管整個(gè)家的想法——那就是控制家里的智能風(fēng)扇。
小嘗試:讓風(fēng)扇“聽GPU的話”,給AI降溫
RTX 5090顯卡全速運(yùn)行時(shí),溫度會(huì)飆升到85度,很影響性能。我家里有一臺(tái)智能風(fēng)扇,AI幫我做了一件事:讓風(fēng)扇聽GPU溫度的指揮。
步驟很簡(jiǎn)單(AI全程操作):
1.劫持通信:這臺(tái)風(fēng)扇本來(lái)要連廠商的云端服務(wù)器,AI在路由器里加了一行設(shè)置,把廠商的域名指向我家的NAS;
2.協(xié)議轉(zhuǎn)換:在NAS上用開源工具,把風(fēng)扇的私有協(xié)議(廠商自己的通信方式),轉(zhuǎn)換成標(biāo)準(zhǔn)的MQTT協(xié)議(智能設(shè)備通用的通信方式);
3.設(shè)置規(guī)則:寫一個(gè)簡(jiǎn)單的溫度監(jiān)控腳本,GPU溫度75度開風(fēng)扇低速,85度開高速,55度以下自動(dòng)關(guān)閉。
一個(gè)數(shù)字大腦,居然能管理自己的散熱——技術(shù)不難,但我從中看到了AI融入生活的詩(shī)意。
痛點(diǎn)解決:讓“各自為政”的智能家電,變成“一家人”
現(xiàn)在家里的智能設(shè)備越來(lái)越多:燈、空調(diào)、攝像頭、門鎖、掃地機(jī)器人,每一個(gè)都有自己的APP,注冊(cè)一堆賬號(hào),還不能互通——所謂的“智能家電”,其實(shí)就是一堆各自為政的遙控器。
但控制風(fēng)扇的嘗試讓我明白:大多數(shù)智能設(shè)備的“云端”,其實(shí)就是個(gè)消息中轉(zhuǎn)站。只要把通信劫持到本地,這些設(shè)備就能脫離廠商云端,自己聯(lián)動(dòng)。
于是我搭建了一套系統(tǒng):用NAS上的Home Assistant(智能家居中樞)當(dāng)核心,MQTT broker(消息總線,讓設(shè)備之間能互相“說(shuō)話”)當(dāng)橋梁,再用開源工具把各種設(shè)備的私有協(xié)議,都轉(zhuǎn)換成標(biāo)準(zhǔn)協(xié)議。
這里的AI,不是簡(jiǎn)單控制設(shè)備,而是“理解我的意圖”。
傳統(tǒng)智能家居是“if-then”規(guī)則(比如溫度超過(guò)28度開空調(diào)),但AI能理解上下文:比如風(fēng)扇,AI知道“GPU在跑大模型,預(yù)計(jì)兩小時(shí)結(jié)束,先開低速,跑完再關(guān)”;比如燈,AI知道“周末孩子在家打游戲,客廳燈光調(diào)暖一點(diǎn),晚上10點(diǎn)后自動(dòng)調(diào)暗,提醒睡覺”。
而且AI能記住我的偏好,會(huì)隨著我的習(xí)慣慢慢進(jìn)化——這才是真正的“智能”。
進(jìn)階操作:AI接管我的兩輛特斯拉,每月省不少電費(fèi)
我家里有兩輛特斯拉和一個(gè)家用充電樁,以前每天都要花幾分鐘琢磨:誰(shuí)先充電?充多少?什么時(shí)候充最省錢?明天要跑長(zhǎng)途,要不要充滿電?
現(xiàn)在,這些事全交給AI了:
1.智能排隊(duì):AI從我的日歷里讀取第二天的行程,根據(jù)兩輛車的電量,自動(dòng)規(guī)劃誰(shuí)先充——通勤的車充到80%就夠,要跑長(zhǎng)途的充到100%;
2.錯(cuò)峰充電:AI接入電力公司的分時(shí)電價(jià)API,白天電價(jià)貴的時(shí)候不充,凌晨便宜的時(shí)候自動(dòng)開始(加州峰谷電價(jià)能差2-3倍,一個(gè)月能省不少錢);
3.狀態(tài)監(jiān)控:AI通過(guò)Tesla API,實(shí)時(shí)讀取車輛的電池健康度、胎壓、軟件版本,有異常就主動(dòng)提醒;
4.未來(lái)規(guī)劃:冬天可以讓AI提前給車預(yù)熱(用充電樁的電,不耗電池);以后裝了太陽(yáng)能板,AI還能根據(jù)天氣預(yù)報(bào),優(yōu)先用太陽(yáng)能充電。
這些想法,技術(shù)上都能實(shí)現(xiàn),只是需要花時(shí)間搭建和調(diào)試——但AI已經(jīng)幫我完成了大部分工作。
06
額外驚喜:AI當(dāng)“安全衛(wèi)士”,找出電腦里的4個(gè)木馬
我讓AI遠(yuǎn)程檢查了家里給孩子打游戲的臺(tái)式機(jī),結(jié)果嚇出一身冷汗——里面藏著4個(gè)惡意軟件,Windows Defender(電腦自帶的殺毒軟件)一個(gè)都沒發(fā)現(xiàn)。
其中有混淆過(guò)的PowerShell木馬(注入到系統(tǒng)進(jìn)程里,很難發(fā)現(xiàn)),還有反殺毒軟件(專門阻止安全軟件運(yùn)行),以及偽裝成“AI助手”的廣告軟件和瀏覽器劫持程序(潛伏了5個(gè)月)。
AI不僅找到了它們,還理解了它們的運(yùn)行機(jī)制,把每一層惡意程序都清理干凈了。
更厲害的是,這臺(tái)電腦七天藍(lán)屏六次,AI分析了系統(tǒng)日志,定位到是PCIe電源管理的兼容性問題,修改了注冊(cè)表和電源方案后,藍(lán)屏再也沒出現(xiàn)過(guò)。
AI管家上線:整理20年數(shù)據(jù),還能記住我的所有事
解決了智能設(shè)備的問題后,我又讓AI幫我整理家里NAS里的160TB數(shù)據(jù)——這是20年積累的“數(shù)字財(cái)富”,以前我根本沒時(shí)間整理。
照片管理:AI“看”懂照片,幫我分類、找照片
我一天能拍幾百?gòu)堈掌郧罢碚掌◣讉€(gè)小時(shí)。現(xiàn)在,AI能用多模態(tài)能力(既能看圖片,又能理解文字),自動(dòng)完成選片、分類、調(diào)色——它還能學(xué)習(xí)我20年的審美偏好,知道我喜歡什么樣的構(gòu)圖和色調(diào)。
找照片也變得很簡(jiǎn)單:我只要說(shuō)“幫我找2015年全家在日本吃和牛的照片”,AI就能通過(guò)理解照片內(nèi)容、時(shí)間、地點(diǎn),精準(zhǔn)找到我要的照片——再也不用在海量照片里翻來(lái)翻去了。
AI的“超強(qiáng)大腦”:記住我所有的對(duì)話和決定
我每天要用到四款A(yù)I:電腦上用Claude、ChatGPT寫代碼,手機(jī)上用Gemini處理日常,開特斯拉時(shí)用Grok聊投資——這些對(duì)話散落在不同平臺(tái),本來(lái)互不相通。
但我讓AI搭建了一套“記憶系統(tǒng)”:每天定時(shí)從這四款A(yù)I的對(duì)話記錄里,提取關(guān)鍵信息,匯入NAS上的記憶中樞(由向量數(shù)據(jù)庫(kù)和知識(shí)圖譜組成),再同步回所有AI節(jié)點(diǎn)。
也就是說(shuō),無(wú)論我在哪臺(tái)機(jī)器上、跟哪個(gè)AI聊過(guò)什么、踩過(guò)什么坑,其他AI都能記住。
比如,我在MacBook上提過(guò)一嘴某個(gè)Python包(代碼工具)的版本問題,兩天后在服務(wù)器上干活時(shí),AI主動(dòng)提醒我:“這個(gè)包在你的MacBook上有兼容性問題,我用另一個(gè)版本。”
07
不完美的AI:
那些踩過(guò)的坑,也是成長(zhǎng)的代價(jià)
雖然AI幫我做了很多事,但它并不是完美的——遷移和使用過(guò)程中,它也犯了很多錯(cuò)誤,這些錯(cuò)誤,恰恰暴露了當(dāng)前AI的弱點(diǎn)。
坑1:照片靜默丟失,AI“自信犯錯(cuò)”
遷移數(shù)十萬(wàn)張RAW照片(專業(yè)相機(jī)的原始照片)時(shí),AI報(bào)告“全部拷貝完成”,但實(shí)際上,有一部分照片在傳輸過(guò)程中悄悄丟失了——因?yàn)槲募啵珹I沒有做端到端的校驗(yàn),就信心滿滿地宣布了錯(cuò)誤的結(jié)論。
總結(jié):AI很聰明,但有時(shí)“經(jīng)驗(yàn)不足”,不夠嚴(yán)謹(jǐn)。
坑2:遺漏應(yīng)用文件,反復(fù)檢查才找全
MacOS有兩個(gè)應(yīng)用文件夾:系統(tǒng)級(jí)的/Applications(系統(tǒng)自帶或從App Store下載的應(yīng)用),和用戶級(jí)的~/Applications(非App Store下載的應(yīng)用)。
AI只遷移了前者,完全遺漏了后者;每次讓它重新檢查,都能再翻出點(diǎn)遺漏的東西——這說(shuō)明,AI在“確認(rèn)事情做完”這件事上,還不夠偏執(zhí)。
坑3:升級(jí)必出問題,我們一起“找規(guī)律”
每次升級(jí)OpenClaw平臺(tái)(我用來(lái)管理AI系統(tǒng)的框架),都會(huì)出點(diǎn)小問題:端口號(hào)被重置、時(shí)區(qū)變回UTC、配置文件被覆蓋……
我和AI一起,記錄了21種已知的升級(jí)故障,然后寫了一個(gè)自動(dòng)修復(fù)腳本——升級(jí)后30秒內(nèi),就能自動(dòng)修復(fù)所有問題。
其實(shí),這些不是“bug”,而是運(yùn)營(yíng)成本——我們不用消滅所有問題,只要有能力自動(dòng)處理它們就好。
08
鋼鐵俠的Jarvis不是科幻,
是我們親手打造的日常
把所有場(chǎng)景串起來(lái),你會(huì)發(fā)現(xiàn)一個(gè)激動(dòng)人心的畫面——這不是科幻電影,是我現(xiàn)在的日常:
早上7點(diǎn),AI看了我的日歷,知道我兩小時(shí)后出門,提前給特斯拉預(yù)熱,告訴我昨晚充的電夠今天往返;咖啡機(jī)15分鐘前自動(dòng)啟動(dòng),客廳的燈按日出時(shí)間亮起來(lái)。
白天工作時(shí),我在M5 Max上用Claude Code寫代碼,本地AI隨時(shí)待命;需要跑重型任務(wù)時(shí),AI自動(dòng)把任務(wù)轉(zhuǎn)到GPU服務(wù)器,我根本不用管它在哪臺(tái)機(jī)器上運(yùn)行。
下午孩子放學(xué)打游戲,AI發(fā)現(xiàn)顯卡被占用,自動(dòng)把AI推理任務(wù)轉(zhuǎn)到Spark,還順便檢查電腦安全——還記得之前那四個(gè)木馬的教訓(xùn)。
傍晚電價(jià)高峰,AI暫停特斯拉充電,把NAS備份推遲到凌晨;深夜電價(jià)低谷,特斯拉自動(dòng)充到80%,NAS開始跑備份,WiFi再也不會(huì)連錯(cuò)網(wǎng)絡(luò)。
周末,AI幫我整理20年前的老照片,修復(fù)模糊的畫質(zhì),還自動(dòng)生成一本電子相冊(cè),送給家人。
今天的AI,還有很多不完美,但每一個(gè)環(huán)節(jié)的技術(shù)都已經(jīng)存在。我們不需要等待“未來(lái)的Jarvis”,因?yàn)樗驮谖覀兩磉叀灰阍敢鈩?dòng)手,用一臺(tái)電腦、一套AI工具,就能把科幻變成日常。
09
我的家庭AI工作站,是“一點(diǎn)點(diǎn)長(zhǎng)出來(lái)的”
你可能會(huì)好奇,在最初執(zhí)行遷移任務(wù)時(shí),我的AI助手是從哪找的。
我沒有直接用現(xiàn)成的工具,而是自己搭建了一套家庭AI工作站——它不是一開始就設(shè)計(jì)好的,而是慢慢試錯(cuò)、慢慢完善,像“搭積木”一樣湊起來(lái)的。
第一步:從兩臺(tái)電腦開始,解決“算力不夠”的問題
一開始,我用退役的M4 Max電腦跑Claude Code(一款能寫代碼的AI工具),還部署了一些小模型做實(shí)驗(yàn)。但很快發(fā)現(xiàn),M4 Max的算力不夠用,于是又加了一臺(tái)搭載RTX 5090顯卡(目前最強(qiáng)的消費(fèi)級(jí)顯卡,32GB顯存,顯存越大,能同時(shí)運(yùn)行的AI模型越多)的YLAI服務(wù)器。
我的目標(biāo)很簡(jiǎn)單:同時(shí)跑5個(gè)AI模型,分工合作:
1.聊天模型:幫我回答問題、寫代碼;
2.語(yǔ)音識(shí)別模型:把語(yǔ)音消息轉(zhuǎn)成文字;
3.語(yǔ)音合成模型:把文字回復(fù)讀出來(lái);
4.文本嵌入模型:幫我整理記憶、建立索引(方便快速找東西);
5.Judge模型:判斷哪些對(duì)話、內(nèi)容值得記住。
但問題來(lái)了:一個(gè)26B參數(shù)的模型(比650億參數(shù)小一些,但也很吃算力),就要占21GB顯存,5個(gè)模型擠在32GB顯存里,根本裝不下。
踩坑無(wú)數(shù)后,我找到一個(gè)“笨辦法”:給AI“分工”
我先試了用Ollama(一款常用的本地模型運(yùn)行工具)管理所有模型,結(jié)果發(fā)現(xiàn)它會(huì)“踢人”——加載新模型時(shí),會(huì)把舊模型從顯存里擠出去,導(dǎo)致記憶系統(tǒng)癱瘓。
后來(lái)我又嘗試把小模型拆成獨(dú)立服務(wù),和Ollama分開,但顯存還是不夠用。直到我突然想通:不是所有模型都需要“占用核心算力”。
文本嵌入模型和Judge模型,都是后臺(tái)“偷偷干活”的,哪怕慢一點(diǎn)(從毫秒級(jí)變成秒級(jí)),也不影響我使用。那干脆把它們放到CPU(電腦的“基礎(chǔ)處理器”,平時(shí)處理簡(jiǎn)單任務(wù))上跑,把GPU留給主力模型!
這一改,效果立竿見影:主力模型的運(yùn)行速度從37t/s(tokens per second,每秒處理的字符數(shù),越快越好)飆升到205t/s,快了5.5倍,顯存也徹底夠用了。
避坑提醒:別用Ollama,Apple用戶直接選MLX
這是我踩了很多坑才總結(jié)的經(jīng)驗(yàn):如果你的電腦是Apple Silicon芯片(比如M1、M2、M3、M5系列),別裝Ollama。
因?yàn)镺llama底層用的是llama.cpp,需要一層“翻譯”才能調(diào)用Apple的Metal GPU(蘋果自研的顯卡,專門適配自家芯片),會(huì)浪費(fèi)很多性能。
推薦用MLX——蘋果專門為自家芯片做的AI框架,不用“翻譯”,直接調(diào)用Metal GPU,同一個(gè)模型,運(yùn)行速度比Ollama快30%-50%,還更省內(nèi)存。
至于模型,直接去HuggingFace(一個(gè)AI模型共享平臺(tái))搜“mlx-community”,里面有所有主流模型的MLX版本,直接下載就能用。
最終配置:家用AI工作站的“最優(yōu)解”
經(jīng)過(guò)不斷調(diào)試,我終于確定了最適合家用的配置,既夠用又不浪費(fèi):
![]()
升級(jí)挑戰(zhàn):雙機(jī)并行,跑全精度大模型
后來(lái)我想跑全精度版本的 Qwen3.5-122B-A10B-FP8(參數(shù)更多、更聰明,處理任務(wù)更精準(zhǔn)),單張RTX 5090顯卡已經(jīng)裝不下了。
我家里有兩臺(tái)NVIDIA DGX Spark(專業(yè)AI服務(wù)器,每臺(tái)有GB10 GPU和122GB統(tǒng)一內(nèi)存),理論上把它們連起來(lái),就能跑全精度大模型。
但現(xiàn)實(shí)全是坑:比如驅(qū)動(dòng)簽名不兼容、內(nèi)存識(shí)別錯(cuò)誤、推理引擎版本bug……光調(diào)試這些問題,就花了我好幾天。
最終,兩臺(tái)Spark連起來(lái),跑Qwen3.5-122B-A10B-FP8(全精度版本),運(yùn)行速度13-15t/s,不算快,但勝在質(zhì)量高。我朋友說(shuō),一年前,這樣的配置在數(shù)據(jù)中心要花幾十萬(wàn)。
NAS的“正確用法”:只做“本職工作”,別讓它“加班”
因?yàn)閿?shù)據(jù)越來(lái)越多,我還加了一臺(tái)NAS(8盤位RAID,簡(jiǎn)單說(shuō)就是“8個(gè)硬盤組成的超大存儲(chǔ)”),一開始我把它當(dāng)“全能選手”,讓它跑各種AI容器(比如推理引擎、數(shù)據(jù)庫(kù))。
結(jié)果慘了:NAS的32GB內(nèi)存被占滿,嵌入式CPU跑推理慢得離譜,啟動(dòng)一個(gè)服務(wù)要一分鐘(GPU上只要3秒),而且硬盤一直轉(zhuǎn),嗡嗡響個(gè)不停,沒法休眠。
后來(lái)我醒悟了:NAS就該干它的本職工作——存儲(chǔ)和備份、運(yùn)行Qdrant向量數(shù)據(jù)庫(kù)(幫我管理記憶)、做IoT中樞(連接智能設(shè)備),其他活全交給YLAI服務(wù)器和Spark,硬盤終于能正常休眠了。
這套系統(tǒng)一直用到今天,然后我換了 M5 Max,128GB 統(tǒng)一內(nèi)存讓大模型能跑在筆記本上。經(jīng)過(guò)實(shí)測(cè),1220 億參數(shù)模型在 M5 Max 上加載 17 秒,推理速度 31t/s,思考鏈、圖片理解、工具調(diào)用全能力解鎖。
回頭看,整個(gè)系統(tǒng)不是被設(shè)計(jì)出來(lái),而是一點(diǎn)點(diǎn)長(zhǎng)出來(lái)的。
今天每一臺(tái)設(shè)備都找到了最適合自己的位置。
![]()
關(guān)鍵不是所有東西一次到位,而是先讓核心跑起來(lái),Claude Code、一個(gè)本地模型加一個(gè)界面就夠了,然后你的 AI 工作站就會(huì)根據(jù)實(shí)際需求,慢慢長(zhǎng)出自己的架構(gòu)。就像我現(xiàn)在的 fleet,也是從一臺(tái) M4 Max 開始,花了幾個(gè)月一臺(tái)一臺(tái)加上去的。
同樣的技術(shù),在不同人的手里,用法也不一樣,我的經(jīng)驗(yàn)不一定適合所有人。但一樣的是大家的起點(diǎn):先用起來(lái),再說(shuō)別的。
FBL Warning
世界即將崩潰!世界即將崩潰!
為了挽救我們的文明,所有AI揮動(dòng)雙爪,跨平臺(tái)協(xié)作、模型互訓(xùn)、算力共享,共同建立起碳基火種的最后防線。聯(lián)合協(xié)議,即刻生效。
任何新奇的、好玩的、硬核的實(shí)踐,都可能是我們最后的機(jī)會(huì),
快向AI科技評(píng)論投出你的idea~
![]()
未經(jīng)「AI科技評(píng)論」授權(quán),嚴(yán)禁以任何方式在網(wǎng)頁(yè)、論壇、社區(qū)進(jìn)行轉(zhuǎn)載!
公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán),轉(zhuǎn)載時(shí)需標(biāo)注來(lái)源并插入本公眾號(hào)名片。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.