北京
AI推理的瓶頸正在從算力轉向帶寬。一家中國臺灣的芯片企業給出了新解法。
Skymizer近日發布HTX301加速器，專為大模型推理解碼階段設計。與負責預填充的GPU分工協作，這款芯片試圖解決一個被忽視的效率問題：當GPU算力閑置等待數據時，系統整體能效被白白消耗。
技術路線選擇了軟硬件協同。HTX301基于Skymizer自研的HyperThought平臺和LISA指令集架構，定位很清晰——不做通用計算，只啃帶寬密集型負載這塊硬骨頭。
部署形態有兩種。SoC集成適合定制場景，更吸睛的是PCIe AIC方案：單卡塞進6顆HTX301芯片，配384GB內存，功耗控制在240W。這個配置能本地運行700B參數的大模型，對需要私有化部署的企業頗具吸引力。
數字背后的取舍值得玩味。384GB內存對應700B模型，意味著壓縮或量化在所難免；240W功耗相比動輒上千瓦的GPU集群，能效比是賣點，但性能天花板同樣明顯。這不是要取代GPU，而是在推理流水線上切走特定環節。
大模型推理正在分層。預填充需要算力暴力，解碼階段更吃內存帶寬——HTX301押注的正是這個結構性機會。能否在英偉達生態的縫隙里找到位置，取決于實際延遲數據和軟件適配進度。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
