當(dāng)?shù)貢r間 12 月 2 日，亞馬遜云計算服務(wù)（AWS）在美國拉斯維加斯舉辦的年度云計算盛會“AWS re:Invent 2025”上發(fā)布了全新的自研 Trainium3 芯片，以及采用 Trainium3 芯片的 Trainium3 UltraServer 服務(wù)器。

根據(jù)首席執(zhí)行官 Matt Garman 的介紹，新款 Trainium3 芯片的性能是前代產(chǎn)品的 4 倍，并采用臺積電 3 納米工藝制造。每個芯片都配備了 144 GB 的 HBM3E 內(nèi)存，內(nèi)存帶寬為 4.9 TB/s，提供 2.52 FP8 PFLOPs 的算力。

（來源：社交媒體 X）

Trainium3 UltraServer 單機(jī)最多集成 144 顆 Trainium3 芯片，總共配備 20.7 TB HBM3E、706 TB/s 內(nèi)存帶寬，可提供最高 362 FP8 PFLOPS 的算力，時延降低 4 倍，可更快訓(xùn)練超大模型，并大規(guī)模支撐推理服務(wù)。

其計算性能比 Trainium2 UltraServer 高出 4.4 倍，能源效率高出 4 倍，內(nèi)存帶寬也高出近 4 倍。在使用 OpenAI 的開源大模型 GPT-OSS 進(jìn)行測試時，Trainium3 UltraServer 的單芯片吞吐量可提升 3 倍，推理響應(yīng)速度提升 4 倍。這意味著企業(yè)可以在更小的基礎(chǔ)設(shè)施規(guī)模下應(yīng)對峰值需求，顯著優(yōu)化用戶體驗，同時降低每次推理請求的成本。

AWS 以垂直整合方式打造 Trainium3 UltraServer，從芯片架構(gòu)到軟件棧全鏈路協(xié)同。核心之一是新一代網(wǎng)絡(luò)基礎(chǔ)設(shè)施，用于消除傳統(tǒng)分布式 AI 計算的通信瓶頸：NeuronSwitch-v1 提供 2 倍 的 UltraServer 內(nèi)部帶寬；增強型 Neuron Fabric 將芯片間通信延遲降低至 10 微秒以內(nèi)。

這種強大的配置使得它非常適合處理下一代最前沿的 AI 工作負(fù)載，例如：訓(xùn)練大規(guī)模AI模型，可以將復(fù)雜模型的訓(xùn)練時間從數(shù)月縮短至數(shù)周；處理高并發(fā)的 AI 推理請求，以低延遲實時處理數(shù)百萬用戶的請求，例如智能對話、視頻生成等；運行特定復(fù)雜任務(wù)，如智能體系統(tǒng)、專家混合模型和大規(guī)模強化學(xué)習(xí)等。

包括 Anthropic、Karakuri、Metagenomi、NetoAI、Ricoh、Splash Music 等客戶，已經(jīng)借助 Trainium 將訓(xùn)練和推理成本降低最多 50%。其中，Decart 在實時生成式視頻方面實現(xiàn)了 4 倍推理速度提升，成本僅為 GPU 的一半；而 Amazon Bedrock 已經(jīng)在生產(chǎn)環(huán)境中使用 Trainium3 提供服務(wù)。

（來源：社交媒體 X）

對于需要更大規(guī)模的客戶，EC2 UltraCluster 3.0 可連接數(shù)千臺 UltraServer，構(gòu)成擁有多達(dá) 100 萬顆 Trainium 芯片的集群——是上一代的 10 倍。這使得此前完全不可能的任務(wù)成為現(xiàn)實：從在萬億級 token 數(shù)據(jù)集上訓(xùn)練多模態(tài)模型，到為數(shù)百萬并發(fā)用戶提供實時推理服務(wù)。

自研芯片是亞馬遜的重要戰(zhàn)略項目之一，目標(biāo)是避免過度依賴昂貴的英偉達(dá)硬件。而對于 Trainium3 來說，一個關(guān)鍵問題在于：有多少大型外部客戶會愿意采用這套硬件。尤其是在谷歌旗下的 TPU 持續(xù)搶占 AI 芯片市場的背景下。

另一個重要變量是 AI 初創(chuàng)公司 Anthropic 的芯片采購分配。今年 10 月，Anthropic 宣布與谷歌達(dá)成合作，將使用多達(dá) 100 萬顆谷歌 TPU 芯片，以實現(xiàn)除亞馬遜和英偉達(dá)之外的供應(yīng)多元化。

Anthropic 表示，亞馬遜仍是其主要訓(xùn)練合作伙伴與云服務(wù)提供商。該公司預(yù)計，到今年年底，將使用超過 100 萬顆 Trainium 2 芯片，其中包括運行在擁有近 50 萬顆 Trainium 處理器的 Project Rainier 超級計算機(jī)之上。

此外，AWS 也預(yù)告了下一代 AI 訓(xùn)練芯片 Trainium4 的研發(fā)進(jìn)展。其在各方面都將實現(xiàn)大幅性能躍升，包括處理性能（FP4）至少提升 6 倍、FP8 性能提升 3 倍、內(nèi)存帶寬提升 4 倍。結(jié)合持續(xù)的軟硬件優(yōu)化，其實際性能提升將遠(yuǎn)超基準(zhǔn)數(shù)值。

其中，F(xiàn)P8 提升 3 倍是一次基礎(chǔ)性飛躍。模型訓(xùn)練至少快 3 倍，推理吞吐量也至少提升 3 倍，并且隨著軟件優(yōu)化將獲得進(jìn)一步加成。FP8 已成為現(xiàn)代 AI 工作負(fù)載在精度與效率之間的行業(yè)標(biāo)準(zhǔn)格式。

為進(jìn)一步提升單機(jī)擴(kuò)展性能，Trainium4 將支持 NVIDIA NVLink Fusion 高速互聯(lián)技術(shù)。該能力將使 Trainium4、AWS Graviton 處理器及 Elastic Fabric Adapter（EFA）能在統(tǒng)一 MGX 機(jī)架內(nèi)協(xié)同工作，為客戶提供支持 GPU 與 Trainium 的成本更優(yōu)、性能更強的機(jī)架級 AI 基礎(chǔ)設(shè)施。

這一整合將構(gòu)建一個靈活、高性能的平臺，優(yōu)化應(yīng)對未來對訓(xùn)練與推理都極其苛刻的 AI 工作負(fù)載。

https://www.aboutamazon.com/news/aws/trainium-3-ultraserver-faster-ai-training-lower-cost