IT之家 7 月 6 日消息,被譽(yù)為“HBM 之父”的韓國(guó)科學(xué)技術(shù)院(KAIST)電氣系教授金正浩近日接受《東亞日?qǐng)?bào)》采訪時(shí)表示,AI 的核心競(jìng)爭(zhēng)力正在從 GPU 轉(zhuǎn)向內(nèi)存。
![]()
金正浩認(rèn)為 AI 的本質(zhì)是內(nèi)存,GPU 在 AI 推理中的利用率遠(yuǎn)低于理論水平。AI 每次輸出結(jié)果,都必須先從 HBM 讀取數(shù)據(jù)、傳到 GPU 進(jìn)行計(jì)算,再將結(jié)果寫回內(nèi)存。就算部署 100 萬塊 GPU,真正用于計(jì)算的時(shí)間也只有 10%-30%。
并且過去的 AI 主要集中在訓(xùn)練階段,因此 GPU 是決定性能的核心。而著眼現(xiàn)在和未來,AI 將進(jìn)入推理時(shí)代,此時(shí)真正能決定性能的,是一次能處理多少數(shù)據(jù)、能以多快速度處理數(shù)據(jù),因此內(nèi)存能力將直接決定 AI 性能。
當(dāng)然,目前已經(jīng)有 HBM 這種專門適配 AI 的高帶寬內(nèi)存方案。但隨著 AI 邁入多模態(tài)化和 Agentic AI(代理式人工智能)出現(xiàn),人們將越來越需要保存視頻、文檔、長(zhǎng)期記憶等海量冷數(shù)據(jù)。因此,將 NAND 閃存像 HBM 一樣堆疊的 HBF 技術(shù)將在未來成為主流。金正浩更是預(yù)測(cè),10 年后 HBF 的市場(chǎng)需求將超過 HBM。
到了更遠(yuǎn)的未來,HBS(高帶寬 SRAM)將成為主流。這種技術(shù)將采用讀寫速度比 DRAM 快 1000 倍的 SRAM,其構(gòu)想包括在整片 12 英寸晶圓上鋪設(shè) SRAM、將容量提升至約 1600GB,實(shí)現(xiàn)大容量高速數(shù)據(jù)處理。
此外金正浩設(shè)想,未來的 AI 計(jì)算機(jī)將演變成一個(gè)龐大的“三維建筑”:HBM 將充當(dāng)商場(chǎng)角色,HBF 層相當(dāng)于住宅區(qū),HBS 則承擔(dān)高速緩存功能。各種形態(tài)的 HBM、HBF、HBS 組合在一起,給 GPU 供給數(shù)據(jù),形成約 100 層規(guī)模的 3D 復(fù)合架構(gòu)。
IT之家注:金正浩長(zhǎng)期致力于高帶寬內(nèi)存(HBM)與 2.5D/3D 集成封裝研究。他從 2010 年開始和 SK 海力士研發(fā) HBM1,并在去年參與 HBM4-HBM8 長(zhǎng)期發(fā)展路線圖規(guī)劃,
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.