无主之地2配置高吗|看真人裸体BBBBB|秋草莓丝瓜黄瓜榴莲色多多|真人強奷112分钟|精品一卡2卡3卡四卡新区|日本成人深夜苍井空|八十年代动画片

網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

Agentic AI需要的遠(yuǎn)不止GPU

0
分享至

(本文編譯自SemiWiki)

代理式人工智能(Agentic AI)工作負(fù)載正重塑現(xiàn)代數(shù)據(jù)中心基礎(chǔ)設(shè)施的計(jì)算需求,將性能瓶頸從以GPU為核心的推理環(huán)節(jié),轉(zhuǎn)移至對(duì)CPU算力要求極高的編排與工作流管理環(huán)節(jié)。

傳統(tǒng)人工智能推理流水線主要依靠GPU執(zhí)行單次前向傳播,輸入分詞、模型運(yùn)行和輸出生成按順序進(jìn)行。而新興的Agentic AI系統(tǒng)將推理轉(zhuǎn)化為分布式的多步驟流程,涵蓋規(guī)劃、工具調(diào)用、驗(yàn)證及迭代推理等環(huán)節(jié)。這一架構(gòu)變革帶來(lái)了對(duì)CPU的海量需求,使得CPU的算力成為維持系統(tǒng)吞吐量和整體成本效率的關(guān)鍵因素。


在代理式工作流中,CPU承擔(dān)各類編排任務(wù),包括控制流管理、分支邏輯處理、重試機(jī)制執(zhí)行,以及多智能體與外部服務(wù)間的協(xié)同調(diào)度。每次智能體調(diào)用均可能需要與數(shù)據(jù)庫(kù)、應(yīng)用程序編程接口、搜索引擎或向量數(shù)據(jù)庫(kù)進(jìn)行交互,這些操作都會(huì)產(chǎn)生額外的CPU、內(nèi)存及I/O開銷。

此外,推理密集型工作負(fù)載通常需要獨(dú)立的沙箱執(zhí)行環(huán)境來(lái)開展驗(yàn)證與測(cè)試工作。這些迭代循環(huán)形成多輪次工作流,而CPU的性能決定了系統(tǒng)的端到端吞吐量。當(dāng)CPU資源不足時(shí),GPU會(huì)因等待預(yù)處理、工具執(zhí)行或驗(yàn)證步驟完成而處于空閑狀態(tài),造成高成本加速硬件的利用效率低下。

實(shí)驗(yàn)基準(zhǔn)測(cè)試進(jìn)一步印證了CPU工作負(fù)載在代理式流程中的重要性。在一項(xiàng)模擬監(jiān)管申報(bào)文件分析的金融異常檢測(cè)工作流測(cè)試中,CPU負(fù)責(zé)處理數(shù)據(jù)加載、基準(zhǔn)值計(jì)算、異常檢測(cè)、文檔檢索,以及通過(guò)網(wǎng)絡(luò)搜索實(shí)現(xiàn)的信息補(bǔ)充等任務(wù)。

測(cè)試結(jié)果顯示,CPU操作占據(jù)了總運(yùn)行時(shí)間的主導(dǎo)地位,僅信息補(bǔ)充環(huán)節(jié)消耗的時(shí)間就遠(yuǎn)超過(guò)基于GPU的模型推理步驟。這一結(jié)果凸顯,僅對(duì)推理環(huán)節(jié)進(jìn)行加速無(wú)法實(shí)現(xiàn)整體性能優(yōu)化,系統(tǒng)需在CPU編排與GPU計(jì)算之間達(dá)成平衡。

另一項(xiàng)針對(duì)人工智能輔助代碼生成的基準(zhǔn)測(cè)試,進(jìn)一步揭示了CPU的性能瓶頸。在該工作流中,GPU負(fù)責(zé)生成候選解決方案,而CPU則在沙箱環(huán)境中執(zhí)行并驗(yàn)證代碼。在超過(guò)兩千項(xiàng)測(cè)試任務(wù)中,即便使用高核心數(shù)的中央處理器系統(tǒng),基于CPU的沙箱執(zhí)行環(huán)節(jié)消耗的時(shí)間仍略高于GPU的代碼生成環(huán)節(jié)。CPU處理階段涵蓋子進(jìn)程管理、測(cè)試執(zhí)行與結(jié)果分析,這表明在智能體化系統(tǒng)中,驗(yàn)證循環(huán)消耗的時(shí)間可能與推理環(huán)節(jié)相當(dāng),甚至超過(guò)后者。上述研究結(jié)果表明,若不同步提升CPU性能,單純提高GPU性能無(wú)法改善系統(tǒng)的整體吞吐量。

從這些實(shí)驗(yàn)中得出的基礎(chǔ)設(shè)施規(guī)模配置建議,核心是維持CPU與GPU的配比平衡。當(dāng)前的配置指南建議,根據(jù)工作負(fù)載特性,CPU與GPU的配比應(yīng)在1:1至1.4:1之間,即每塊GPU對(duì)應(yīng)約86至120個(gè)CPU核心。Token生成速度更快的小模型,需要更多的CPU資源來(lái)保證GPU處于滿負(fù)載運(yùn)行狀態(tài),而性能更強(qiáng)的CPU則可適當(dāng)降低這一配比。未來(lái)高性能GPU的問(wèn)世,可能會(huì)進(jìn)一步提升對(duì)CPU的需求,若編排邏輯的復(fù)雜度持續(xù)增加,這一配比數(shù)值或?qū)⑦M(jìn)一步走高。

這一結(jié)論的影響不僅限于性能優(yōu)化層面。CPU資源配置不足,會(huì)導(dǎo)致編排環(huán)節(jié)產(chǎn)生延遲、工具執(zhí)行受阻、驗(yàn)證循環(huán)變慢,這些問(wèn)題都會(huì)降低GPU的利用率,推高運(yùn)營(yíng)成本。反之,合理擴(kuò)容CPU資源,能保障數(shù)據(jù)準(zhǔn)備、協(xié)同調(diào)度與驗(yàn)證工作的持續(xù)開展,讓GPU始終處于最高效率運(yùn)行狀態(tài)。這種系統(tǒng)層面的平衡與微服務(wù)架構(gòu)的邏輯相通,即系統(tǒng)的整體性能由最慢的組件而非最快的組件決定。

隨著Agentic AI的持續(xù)發(fā)展,CPU在推理基礎(chǔ)設(shè)施中的核心地位將愈發(fā)凸顯。從單次推理到多步驟工作流的轉(zhuǎn)變,使得系統(tǒng)價(jià)值向編排、協(xié)同與運(yùn)行時(shí)管理環(huán)節(jié)轉(zhuǎn)移。因此,部署智能體化系統(tǒng)的企業(yè)必須重新審視傳統(tǒng)的以GPU為核心的擴(kuò)容策略,轉(zhuǎn)而設(shè)計(jì)能配置充足CPU資源的平衡架構(gòu)。通過(guò)實(shí)現(xiàn)CPU與GPU資源的匹配適配,數(shù)據(jù)中心能夠維持穩(wěn)定的吞吐量,最大限度減少加速硬件的空閑時(shí)間,實(shí)現(xiàn)下一代人工智能部署的總擁有成本優(yōu)化。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
美國(guó)總統(tǒng)訪華,路費(fèi)食宿誰(shuí)掏錢?

美國(guó)總統(tǒng)訪華,路費(fèi)食宿誰(shuí)掏錢?

黃娜老師
2026-05-13 20:31:40
中美會(huì)談已結(jié)束,特朗普專機(jī)已離京,黃仁勛說(shuō)了一句不尋常的話

中美會(huì)談已結(jié)束,特朗普專機(jī)已離京,黃仁勛說(shuō)了一句不尋常的話

麓谷隱士
2026-05-15 10:16:15
川普訪華國(guó)宴菜單曝光:雷軍馬斯克世紀(jì)同框,特朗普破例舉杯!

川普訪華國(guó)宴菜單曝光:雷軍馬斯克世紀(jì)同框,特朗普破例舉杯!

大稻網(wǎng)絡(luò)科技
2026-05-14 22:52:21
在老北京炸醬面館偶遇黃仁勛了!!!!!!

在老北京炸醬面館偶遇黃仁勛了!!!!!!

蘭亭墨未干
2026-05-15 13:00:34
2000萬(wàn)汽車人的囚徒困境:國(guó)內(nèi)車市大跌20.6%,賣一輛虧兩三萬(wàn)

2000萬(wàn)汽車人的囚徒困境:國(guó)內(nèi)車市大跌20.6%,賣一輛虧兩三萬(wàn)

DearAuto
2026-05-15 09:34:57
快訊!西方精英高層沒喝茅臺(tái),喝的竟然是它!

快訊!西方精英高層沒喝茅臺(tái),喝的竟然是它!

達(dá)文西看世界
2026-05-15 10:51:53
招牌職業(yè)隊(duì)中甲墊底,青訓(xùn)人才大量流失,“中國(guó)足球之鄉(xiāng)”梅州究竟怎么了?

招牌職業(yè)隊(duì)中甲墊底,青訓(xùn)人才大量流失,“中國(guó)足球之鄉(xiāng)”梅州究竟怎么了?

文匯報(bào)
2026-05-15 04:30:13
河南現(xiàn)金王崔培軍翻車?司機(jī)一句大實(shí)話,撕開網(wǎng)紅企業(yè)家的遮羞布

河南現(xiàn)金王崔培軍翻車?司機(jī)一句大實(shí)話,撕開網(wǎng)紅企業(yè)家的遮羞布

青梅侃史啊
2026-05-15 11:28:59
特朗普國(guó)宴吃北京烤鴨,照顧口味搭配牛排冰淇淋,爬天壇氣喘吁吁

特朗普國(guó)宴吃北京烤鴨,照顧口味搭配牛排冰淇淋,爬天壇氣喘吁吁

譯言
2026-05-15 06:09:29
三角連體服引爭(zhēng)議!28歲田徑美女回應(yīng):不是穿給你看的 眼光低俗

三角連體服引爭(zhēng)議!28歲田徑美女回應(yīng):不是穿給你看的 眼光低俗

念洲
2026-05-14 14:28:32
歐洲媒體炸鍋了!馬克龍掌摑門驚天反轉(zhuǎn),竟因伊朗女演員柏拉圖戀愛?

歐洲媒體炸鍋了!馬克龍掌摑門驚天反轉(zhuǎn),竟因伊朗女演員柏拉圖戀愛?

新歐洲
2026-05-14 19:47:51
Anthropic在川普訪華期間發(fā)文:若不嚴(yán)管對(duì)華AI芯片出口,中國(guó)幾個(gè)月即可趕上

Anthropic在川普訪華期間發(fā)文:若不嚴(yán)管對(duì)華AI芯片出口,中國(guó)幾個(gè)月即可趕上

西游日記
2026-05-15 10:25:46
馬斯克訪華名場(chǎng)面曝光!原地轉(zhuǎn)圈打卡,庫(kù)克、黃仁勛看呆了

馬斯克訪華名場(chǎng)面曝光!原地轉(zhuǎn)圈打卡,庫(kù)克、黃仁勛看呆了

雷科技
2026-05-14 18:32:28
2007年,一臺(tái)灣商人來(lái)到沈陽(yáng)大帥府,對(duì)售票員說(shuō):我就不買票了吧

2007年,一臺(tái)灣商人來(lái)到沈陽(yáng)大帥府,對(duì)售票員說(shuō):我就不買票了吧

浩渺青史
2026-05-15 02:58:03
首次開黑,黒島玲衣突破自我!

首次開黑,黒島玲衣突破自我!

吃瓜黨二號(hào)頭目
2026-05-15 10:12:27
燃油車再次迎降價(jià),最大跌幅達(dá)50%,老車主又被“背刺”了

燃油車再次迎降價(jià),最大跌幅達(dá)50%,老車主又被“背刺”了

小談食刻美食
2026-05-15 07:34:32
特朗普訪華晚宴,雷軍是座上賓,為什么?

特朗普訪華晚宴,雷軍是座上賓,為什么?

二月禾
2026-05-15 11:18:14
隨特朗普訪華企業(yè)家:看好中國(guó)長(zhǎng)遠(yuǎn)發(fā)展和市場(chǎng)機(jī)遇

隨特朗普訪華企業(yè)家:看好中國(guó)長(zhǎng)遠(yuǎn)發(fā)展和市場(chǎng)機(jī)遇

新華社
2026-05-15 11:50:54
拿下兩筆最重要訂單,一輩子不喝酒的特朗普,居然在中國(guó)舉了酒杯

拿下兩筆最重要訂單,一輩子不喝酒的特朗普,居然在中國(guó)舉了酒杯

喜歡歷史的阿繁
2026-05-15 12:13:34
一張照片刷屏了,坐在馬斯克和庫(kù)克中間的中國(guó)女人,憑啥這么牛?

一張照片刷屏了,坐在馬斯克和庫(kù)克中間的中國(guó)女人,憑啥這么牛?

小陸搞笑日常
2026-05-15 11:44:30
2026-05-15 13:56:49
TechSugar incentive-icons
TechSugar
做你身邊值得信賴的科技新媒體
5105文章數(shù) 12748關(guān)注度
往期回顧 全部

科技要聞

兩年聯(lián)姻一地雞毛,傳蘋果OpenAI瀕臨決裂

頭條要聞

特朗普訪華"二號(hào)位"系美國(guó)駐華大使 其曾受超規(guī)格禮遇

頭條要聞

特朗普訪華"二號(hào)位"系美國(guó)駐華大使 其曾受超規(guī)格禮遇

體育要聞

德約科維奇買的球隊(duì),從第6級(jí)聯(lián)賽升入法甲

娛樂要聞

方媛回應(yīng)住男生單人間:女孩的配得感

財(cái)經(jīng)要聞

特朗普的北京時(shí)刻

汽車要聞

雙零重力座椅/AI智能體/調(diào)光天幕 啟境GT7內(nèi)飾發(fā)布

態(tài)度原創(chuàng)

教育
時(shí)尚
家居
藝術(shù)
游戲

教育要聞

趕緊看!2026山東三模試題+答案!

冰涼一夏 | 比沒穿還舒服,這些貼身衣物我囤了5件

家居要聞

110㎡淡而有致的生活表達(dá)

藝術(shù)要聞

一個(gè)北大 “反卷教授” 的意外走紅

國(guó)行Switch今晚22時(shí)正式停服 數(shù)字游戲抓緊下載

無(wú)障礙瀏覽 進(jìn)入關(guān)懷版