公眾號記得加星標(biāo)??，第一時間看推送不會錯過。

閱讀前你需要了解的五件事：

這不是GPU，它也無意成為GPU。Spyre是一款75W單槽PCIe推理卡，專為IBM Z和Power系統(tǒng)設(shè)計。

Spyre 已在系統(tǒng)中投入使用。本概述是對 ISSCC 2026 上詳細(xì)技術(shù)披露的總結(jié)。

長達(dá)八年的研發(fā)周期是真實且經(jīng)過深思熟慮的。IBM在發(fā)布量產(chǎn)芯片之前，經(jīng)歷了五代硅芯片的研發(fā)，涵蓋了三個工藝節(jié)點。

最重要的設(shè)計限制是缺少輔助電源接口。所有架構(gòu)決策都源于 PCIe 插槽 75W 的功率限制。

雙回路電源管理系統(tǒng)是 ISSCC 2026 論文中最引人注目的技術(shù)貢獻(xiàn)。它并非營銷噱頭，因為與 IBM 之前使用的單回路方案相比，它確實能帶來可衡量的吞吐量提升。

IBM 在今年的 ISSCC 大會上發(fā)布了其用于推理的 Spyre AI SoC 解決方案，標(biāo)志著該公司歷時八年的芯片研發(fā)工作圓滿完成。Spyre 的概念可以追溯到 2015 年左右，當(dāng)時 IBM 研究院在走廊里發(fā)起了一場關(guān)于低精度計算的討論。在大多數(shù)業(yè)內(nèi)人士都認(rèn)為專用推理芯片值得開發(fā)之前，Spyre 的首個早期原型已在 2018 年的 VLSI 大會上亮相。

首款量產(chǎn)芯片是一款 330 平方毫米 5 納米 SoC，擁有 256 億個晶體管，于 2025 年面向 IBM z17 和 LinuxONE 5 上市，Power11 于年底上市。

機器學(xué)習(xí)的發(fā)展歷程總體上始于2012年的AlexNet，此后的發(fā)展軌跡大致平行：一方面是硬件速度的提升和性能的優(yōu)化，另一方面是模型從卷積神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)向推薦引擎、嵌入表或Transformer模型。2018年，GPT-2和BERT等模型尚未成為企業(yè)級主流模型，業(yè)內(nèi)大多數(shù)人認(rèn)為CPU足以勝任數(shù)據(jù)中心的大部分推理任務(wù)。

IBM 和其他公司一樣，開始構(gòu)建自己的測試芯片，以提供更高效的解決方案。最初，Spyre 只是一個內(nèi)部測試項目（英特爾也做了很多類似的項目），但它似乎標(biāo)志著 IBM 商業(yè)成功的開端，因為它不僅將硬件與自身系統(tǒng)結(jié)合使用，還應(yīng)用于其咨詢業(yè)務(wù)的后端。

IBM 開發(fā) Spyre 的真正目的是什么？

在深入了解 Spyre 芯片本身之前，有必要明確一下這款芯片的實際目標(biāo)用戶，因為應(yīng)用場景會影響此類芯片的每一個決策。

IBM 的大型機客戶包括眾多大型銀行、保險公司和政府機構(gòu)，它們都在大規(guī)模運行關(guān)鍵業(yè)務(wù)交易處理系統(tǒng)。例如，一家大型銀行在處理信用卡欺詐評分時，需要在毫秒內(nèi)評估每一筆交易，每秒處理數(shù)萬筆交易。這些繁重的編碼器級工作負(fù)載，主要是 BERT 變體和類似模型，一直是 IBM Z AI 加速的核心，其歷史可以追溯到 Telum 的片上加速器。Telum 和 Spyre 的架構(gòu)非常相似，因此可以根據(jù)延遲或性能需求在兩者之間遷移工作負(fù)載。

Spyre 擴展了 CPU AI 加速功能，增加了對更大更復(fù)雜模型的處理能力，并為解碼器類工作負(fù)載提供了完善的生成式 AI 支持。這意味著它可以滿足這些工作負(fù)載逐個標(biāo)記的生成需求以及不同的內(nèi)存要求，而這需要可靠、精確的硬件來跟上。

Spyre從一開始就面臨著一個關(guān)鍵的限制：這款加速器必須能夠集成到IBM Z和Power系統(tǒng)中，而無需專用的電源基礎(chǔ)設(shè)施。它只有一個PCIe插槽，沒有輔助接口，并且功耗上限為75W。雖然可以將其與Nvidia的T4或L4系列服務(wù)器GPU進行比較，從而了解其設(shè)計理念，但Spyre最終在其中占據(jù)了截然不同的位置。

生產(chǎn)前五代硅芯片

IBM 的 Spyre 開發(fā)方法在當(dāng)前的 AI 行業(yè)格局中并不常見。大多數(shù)公司從最初的架構(gòu)到量產(chǎn)芯片的交付周期大約在兩到三年內(nèi)——尤其是初創(chuàng)公司，通常會很快推出第一代芯片。但 IBM 的演示文稿顯示，他們花了八年時間，開發(fā)了五代測試/研究芯片，最終企業(yè)部門才決定將其納入產(chǎn)品組合。

在2018年VLSI大會上展示的14nm半核芯片驗證了可編程數(shù)據(jù)流架構(gòu)的概念。隨后在2020年，IBM推出了采用雙核結(jié)構(gòu)的14nm全核芯片。接著，在2021年ISSCC大會上，IBM首次亮相了7nm四核芯片，為IBM提供了跨多個核心的交叉開關(guān)帶寬和內(nèi)存延遲的實際數(shù)據(jù)。在2024年Hot Chips大會上，IBM展示了一款采用更密集的5nm SoC工藝、具備完整電源管理功能的32核芯片，比量產(chǎn)芯片的上市早了整整兩年。

從 2024 年 SoC 研究階段過渡到生產(chǎn)階段，比直接從架構(gòu)設(shè)計跳到流片階段風(fēng)險更低，而這正是關(guān)鍵所在。如今架構(gòu)已具備流片能力，企業(yè)團隊得以添加 RAS 功能，使其適用于 IBM 的高性能產(chǎn)品組合。

Spyre SoC架構(gòu)

仔細(xì)觀察 Spyre SoC 架構(gòu)的細(xì)節(jié)，它有 32 個活躍的 AI 核心，排列成 8x4 的網(wǎng)格，外加兩個用于提高良率的備用核心。

這意味著理論上，即使制造過程中出現(xiàn)一兩個核心故障，芯片仍然可以作為完整的32核芯片交付。所有32個活動核心通過雙向環(huán)形總線連接，整個核心陣列配備64MB片上SRAM。

每個 AI 核心被拆分為兩個核心單元（corelet），每個核心單元配備 2 MB 的 L1 緩存，并且每個核心單元包含一個 8x8 的二維 SIMD 脈動陣列，該陣列由 64 個低精度數(shù)學(xué)引擎組成，用于處理大部分矩陣乘法和卷積運算。除了二維陣列之外，還有支持 FP32 的一維向量陣列，用于在低精度格式精度不足時進行激活和歸一化運算。支持的格式包括 FP8、FP16、INT8 和 INT4，涵蓋了現(xiàn)代推理中常用的量化選項，適用于編碼器和解碼器模型類型。

根據(jù) IBM 的披露，Spyre SoC 的峰值吞吐量為：

• FP16 排名第 98 位

• FP8 時獲得 157 個 TOPS 積分

• INT8 最高分 315 分，

• INT4 最高分 629 分。

IBM 將這款芯片與 NVIDIA 的 72W 推理卡 L4 進行了比較。Spyre 在 INT8 下的峰值性能為 315 TOPS，即每瓦 4.2 TOPS，而 L4 在 INT8 下的峰值性能為 242 TOPS，即每瓦 3.4 TOPS。

IBM 在 ISSCC 2026 上公布的數(shù)據(jù)更進一步，聲稱其性能比使用編碼器級模型的 GPU 高 2 到 3 倍，盡管這些數(shù)據(jù)是在 IBM 的特定工作負(fù)載上測量的，并且沒有使用可以直接比較的跨基準(zhǔn)測試指標(biāo)。

接下來是內(nèi)存子系統(tǒng)，其設(shè)計選擇完全受75W功耗限制的制約。雖然HBM內(nèi)存能夠提供工程師通常所需的帶寬吞吐量，但它功耗過高，且需要更復(fù)雜、更昂貴的封裝，這超出了Spyre的預(yù)算。IBM最終選擇了LPDDR5內(nèi)存，它擁有16個通道，運行速度為6.4Gbps，峰值帶寬可達(dá)204GB/s，每張卡的總?cè)萘繛?28GB，并且所有可用DRAM都配備了SECDED ECC糾錯保護。8個雙通道LPDDR5內(nèi)存模塊與SoC并排安裝在PCIe卡上，而不是封裝在SoC的頂部或內(nèi)部。

128GB 這個數(shù)字在生成式人工智能的討論中也至關(guān)重要。相比之下，NVIDIA L4 只有 24GB。

PCIe 連接采用 Gen5 x16 接口，可提供 64 GB/s 的主機雙向帶寬。值得一提的是 RDMA 引擎，它允許多張 Spyre 卡通過 PCIe 直接相互傳輸數(shù)據(jù)，無需主機 CPU 參與，從而實現(xiàn)多卡擴展，避免互連成為瓶頸。

IBM Spyre 如何處理電源管理

Spyre的雙回路電源管理系統(tǒng)是整體設(shè)計中最具技術(shù)亮點的部分。人工智能推理工作負(fù)載的功耗變化很大，而INT8矩陣乘法會顯著增加電路的功耗和壓力。

通過采用支持低電壓運行的計算設(shè)計，其理念在于最大限度地提高設(shè)計效率。對于現(xiàn)代工藝節(jié)點而言，計算 IP 的最低電壓僅為 0.55 伏，這確實非常低，幾乎達(dá)到了 DSP 甚至比特幣 ASIC 的水平。現(xiàn)代高性能 IP 的最低電壓通常在 0.7 伏到 1.1 伏之間，功耗也隨之增加。設(shè)計低 Vmin 電路本身就是一項技術(shù)，但其代價通常是較低的峰值頻率。無論如何，此設(shè)計的目標(biāo)都是確保其功耗控制在 75 瓦以內(nèi)。

IBM 之前的做法是使用一個閉環(huán) IIR 控制器，當(dāng)功耗接近耗盡時，該控制器會使 AI 內(nèi)核停止運行，類似于時間復(fù)用或占空比控制。這種方法雖然可行，但其設(shè)計較為保守，這意味著節(jié)流是基于單一時間常數(shù)下的單一設(shè)定點。

Spyre 采用雙環(huán)系統(tǒng)完全取代了傳統(tǒng)方法：快速的內(nèi)環(huán)處理短時間內(nèi)出現(xiàn)的峰值電流尖峰，而較慢的、由軟件控制的外環(huán)則根據(jù)實際工作負(fù)載的實時行為調(diào)整平均電流目標(biāo)。這兩個環(huán)路采用不同的時間常數(shù)和設(shè)定點，使系統(tǒng)能夠在短時間內(nèi)安全地利用可用功率余量，同時避免在較長的功率窗口內(nèi)違反平均功率限制。

根據(jù) IBM 的 ISSCC 2026 數(shù)據(jù)，結(jié)果表明，在相同的功耗預(yù)算下，與使用單環(huán)控制器相比，推理吞吐量提高了 25%。對于編碼器模型，性能提升幅度在 7% 到 32% 之間，具體取決于序列長度和配置。這并非微不足道的提升，而且完全不需要對芯片進行任何改動。

在流片之前，IBM 還做出了一些設(shè)計決策來降低整體基準(zhǔn)功耗。AI 內(nèi)核陣列本身的工作電壓為 0.55V，而 SRAM 和第三方 IP 模塊的工作電壓為 0.75V。IBM 還做出了一個看似反直覺的選擇，即使用更大的 7T 標(biāo)準(zhǔn)單元庫，而不是密度更高的 6T 單元庫。這是因為測試表明，由于需要額外的緩沖器，6T 單元庫在 0.55V 電壓下實際上消耗的功耗更高。在流片之前，將綜合頻率目標(biāo)降低了 9%，從而成功降低了 7.5% 的功耗；而重新綜合又分別節(jié)省了約 8% 的功耗和 6% 的面積。

超越單卡擴展

單張 Spyre 卡即可在其內(nèi)存預(yù)算內(nèi)輕松處理編碼器工作負(fù)載，而大型生成式 AI 模型的情況則截然不同，許多模型在考慮批處理之前，128 GB 的內(nèi)存容量根本無法滿足需求。IBM 通過基于 RDMA 的多卡擴展技術(shù)解決了這個問題。在該技術(shù)中，多張卡通過 PCIe 交換機進行通信，從而實現(xiàn) 64 GB/s 的直接卡間 RDMA 傳輸，并采用 CRC 校驗，完全繞過主機 CPU。

IBM 公布的針對其優(yōu)化版 Granite-3.3-8B 模型的數(shù)據(jù)顯示，使用四張 Spyre 卡時性能幾乎呈線性擴展，而增加到八張卡時性能提升更為顯著。隨著卡數(shù)的增加，每張卡處理的計算任務(wù)量逐漸減少，總內(nèi)存帶寬隨之提升，首令牌響應(yīng)時間和令牌間延遲也同步改善。

滿配的 IBM z17 每個托架最多支持 48 張 Spyre 卡，每個系統(tǒng)最多支持 192 張卡。這意味著主機安全邊界內(nèi)可容納 6.1 TB 的加速器內(nèi)存。IBM Power11 每個系統(tǒng)最多支持 16 張卡。目前沒有任何同類 GPU 服務(wù)器配置能夠在單個系統(tǒng)中提供 6 TB 的加速器內(nèi)存，并達(dá)到企業(yè)級的可靠性和安全性。

Spyre是什么，它不是什么

NVIDIA 的高端硬件在最密集的系統(tǒng)中功耗從 700 瓦到 1200 瓦不等。未來，單芯片功耗有望達(dá)到數(shù)千瓦。例如，將 Spyre 與 TOPS 平臺上的 H100 進行比較，實際上毫無意義。它們的設(shè)計環(huán)境和限制條件都截然不同。

相關(guān)比較應(yīng)針對單槽企業(yè)級推理卡，因為在這些領(lǐng)域，每瓦功耗下的能效和內(nèi)存容量比原始吞吐量更為重要。在這個領(lǐng)域，75瓦預(yù)算內(nèi)配備128GB LPDDR5內(nèi)存，傳輸速率達(dá)204GB/s，優(yōu)勢顯著。NVIDIA擁有多種選擇，而IBM也身處競爭激烈的市場，眾多初創(chuàng)公司，例如Tensordyne、Tenstorrent、d-Matrix、Rebellions、Furiosa、Qualcomm、Taalas、Positron AI等，都推出了功耗從75瓦到300瓦不等的推理專用卡。

如今的關(guān)鍵在于將Transformer工作負(fù)載分解為預(yù)填充（計算密集型）和解碼（內(nèi)存帶寬密集型）兩部分。IBM并沒有將Spyre明確歸類到其中任何一部分，這表明對于其工作負(fù)載組合而言，它可以作為單卡解決方案。隨著對工作負(fù)載分解理解的加深，我們或許會看到這種情況在未來發(fā)生改變。

關(guān)于 IBM Spyre 生態(tài)系統(tǒng)，

我們目前了解的情況

當(dāng)這款芯片還在從研究芯片過渡到企業(yè)產(chǎn)品階段時，IBM 舉辦了關(guān)于該產(chǎn)品線未來的演講，其中一些演講將利用 IBM 在制造、生產(chǎn)和系統(tǒng)規(guī)模方面的專業(yè)知識。

這是 IBM 的 Mukesh Khare 在 2022 年的照片，我們曾多次采訪過他。照片中他正在展示 AIU，當(dāng)時它還未更名為 Spyre。第二年，他談到未來幾代產(chǎn)品將著眼于利用更高速度的內(nèi)存類型，并將多個芯片封裝到單個 SIP 中。目前尚不清楚其目標(biāo)是否仍然是 PCIe 卡，還是會轉(zhuǎn)向目前高性能 AI 芯片使用的 OAM 外形尺寸。IBM 最近宣布了一項合作計劃，旨在為其 CPU 啟用 Arm 處理模式，我們有理由推測，Spyre 的訪問權(quán)限可能也會包含在其中。

IBM Spyre SoC：總結(jié)性思考

Spyre 的核心優(yōu)勢在于其長達(dá) 8 年的研發(fā)歷程，經(jīng)歷了 5 代測試芯片、3 個制程節(jié)點，并在正式交付客戶之前，基于多年的實際硬件數(shù)據(jù)進行量產(chǎn)設(shè)計。雙回路電源管理系統(tǒng)是一項真正的工程創(chuàng)新，而相比同類單槽產(chǎn)品，其內(nèi)存容量優(yōu)勢對于其目標(biāo)工作負(fù)載而言，也是一項切實有效的設(shè)計選擇。通過 PCIe 實現(xiàn)跨 IBM Z 和 Power 平臺部署，這一策略明智且執(zhí)行得相當(dāng)出色。PCIe 也意味著這些卡可以兼容 x86 和 Arm 架構(gòu)，盡管 IBM 尚未公開這一應(yīng)用場景。

然而，目前尚無法評估的是，運行 IBM Z 和 Power 平臺的企業(yè)是否會大規(guī)模采用生成式人工智能，以至于 Spyre 的獨特優(yōu)勢成為此類產(chǎn)品中的決定性因素。IBM 通常對咨詢業(yè)務(wù)的硬件成本諱莫如深，所以我們可能永遠(yuǎn)無法得知答案！

（來源：編譯自 morethanmoore）

*免責(zé)聲明：本文由作者原創(chuàng)。文章內(nèi)容系作者個人觀點，半導(dǎo)體行業(yè)觀察轉(zhuǎn)載僅為了傳達(dá)一種不同的觀點，不代表半導(dǎo)體行業(yè)觀察對該觀點贊同或支持，如果有任何異議，歡迎聯(lián)系半導(dǎo)體行業(yè)觀察。

今天是《半導(dǎo)體行業(yè)觀察》為您分享的第4379內(nèi)容，歡迎關(guān)注。

加星標(biāo)??第一時間看推送

求推薦