[新聞] AI算力成本腰斬！AMD MI355X跑GLM 5.2

作者thinksilver (銀白色的沉思)

看板Stock

標題[新聞] AI算力成本腰斬！AMD MI355X跑GLM 5.2

時間Tue Jul 7 08:30:24 2026

原文標題： AI算力成本腰斬！AMD MI355X跑GLM 5.2 成本僅輝達一半原文連結： https://reurl.cc/3yrRj0 發布時間： 2026-07-07 04:44 記者署名：鉅亨網新聞中心原文內容：隨著 AI 推理需求爆炸性增長，算力成本成為企業落地的最大痛點。近期，推理優化公司 Wafer 公布的一組數據引發了 AI 業界的高度關注：在AMD(AMD-US)MI355X 晶片上運行最新開源模型 GLM 5.2，不僅實現了高效能表現，其成本更僅為輝達 (NVDA-US) 旗艦 GPU B200 的一半。這項結果顯示，AMD 正逐步縮小與輝達在 AI 推理市場的差距，也讓外界重新審視 GPU 市場長期由 CUDA 生態建立的競爭優勢。測試顯示，MI355X 在執行 GLM 5.2 時，單節點聚合吞吐量達每秒 2,626 個 token（ tok/s），單流吞吐量則達每秒 213 個 token。在效能方面，約可達到同級輝達旗艦 B200 約八成水準，但部署成本卻不到 B200 的一半。消息公布後，立即引發開發者社群高度關注，相關討論也迅速登上 Hacker News 熱門排行榜。 Wafer 表示，這次部署並非依靠特殊硬體，而是透過一系列軟體最佳化完成，包括模型量化、推理引擎選擇，以及多項相容性修正與效能調校，讓 AMD GPU 能充分發揮推理能力。量化技術兼顧效能與精準度在模型最佳化方面，Wafer 使用 AMD 官方 Quark 工具，將模型權重由 BF16 量化為 MXFP4，以降低運算資源需求。根據測試結果，量化後模型在多項基準測試中的準確率僅有輕微變化，部分測試甚至較官方量化版本更佳，代表壓縮模型後仍能維持相當程度的推理品質。推理引擎方面，Wafer 比較了 vLLM、ATOM 與 sglang 三種方案後，最終選擇 sglang。原因在於前兩者無法同時兼顧量化效益與長文本輸出品質，而 sglang 則能維持模型輸出的穩定性，成為此次部署的主要推理平台。修補細節推理速度大幅提升在完成模型量化後，Wafer 又針對推理流程持續優化。其中最大的挑戰來自 ROCm 平台對投機解碼（Speculative Decoding）的支援不足。團隊發現，共享專家層命名方式與 sglang 使用的命名規則不同，導致模型載入失敗，透過修正命名後，單流吞吐量便大幅提升近三倍。此外，另一項問題來自程式碼直接引用 CUDA 標頭檔，導致 ROCm 編譯失敗，Wafer 僅透過加入編譯保護即可解決。之後再調整平行運算方式，以及手動指定適合 GLM 5.2 專家層的 Kernel，最終將單節點聚合吞吐量提升至每秒 2,626 個 token。測試採用接近實際生產環境的設定，包括 2 萬 token 輸入、1,000 token 輸出及 60% 快取命中率，首個 token 延遲控制在 2.22 秒內，整體成功率達 100%。新創公司也能挑戰 GPU 巨頭值得注意的是，完成這項成果的 Wafer 並非大型科技公司，而是一家僅獲得 400 萬美元種子輪融資的新創企業，投資人包括 Fifty Years、Y Combinator、Liquid2，以及 Google 首席科學家 Jeff Dean、OpenAI 共同創辦人 Wojciech Zaremba 與 Dropbox 共同創辦人 Arash Ferdowsi 等知名人士。 Wafer 將自身定位為利用 AI 優化 AI 基礎設施的公司，並表示此次 GLM 5.2 的部分 Kernel 調校、命名衝突排查與最佳化工作，都已大量導入 AI 輔助工程。相較過去為了提升效能仍需自行開發客製化 Kernel，如今更多工作已轉向修補官方工具鏈中的細節，代表 AMD 軟體生態正逐漸成熟。 AMD 軟體生態逐漸成熟 Wafer 指出，過去若每次模型發布都必須重新開發底層 Kernel，小型團隊幾乎無法跟上市場節奏；如今官方工具鏈已能完成大部分工作，剩餘僅需修正相容性與最佳化細節，新創公司便有機會快速完成部署，這也是 Wafer 能在模型發布後短時間內完成適配的重要原因。 Wafer 認為，目前頂尖模型能否順利部署到 AMD 平台，愈來愈取決於官方軟體支援速度，而非硬體本身，CUDA 長期建立的軟體優勢正逐步受到挑戰。事實上，SemiAnalysis 今年稍早針對 GLM-5 的測試也得到類似結果。報告指出，在互動式推理場景下，AMD MI355X 每百萬 token 推理成本約為 0.22 美元，低於輝達 B200 的 0.30 美元，主要原因除了硬體整體擁有成本較低，也反映 AMD 軟體最佳化已有明顯進展。不過，目前 AMD 的優勢仍主要集中於單節點部署。在多節點、大規模分散式叢集以及跨機專家並行等企業級應用方面，輝達仍保有明顯領先優勢。若未來雲端業者能持續將 Wafer 的最佳化方式複製到更多開源模型，AI 推理成本仍有望持續下降，也將進一步提升開源模型在市場上的競爭力。心得/評論：上次說花少少錢就能贏輝達的是不是deepseek? 不過最近AMD的股價走勢是蠻不錯的~相較於NVDA來說~ 如果能降低成本有助於AI普及化其實也不是壞事，果然NVDA的地位還是需要靠宿敵才能撼動? 想到90年代~ATI(Radeon)與NVDA(GeForce)的大戰各位老顯卡玩家怎麼看呢? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 163.17.149.199 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1783384228.A.19A.html

推 xhs : 不太相信因為amd顯卡跟屎一樣 07/07 08:31

→ benptt : 坐等教主開示 07/07 08:31

→ sing60905 : AMD YES 07/07 08:32

推 s555666 : 最後nvidia贏了，nvidia產量大，軟體支援度高，ati 07/07 08:32

→ s555666 : 最後還是敗北了 07/07 08:32

→ aimlikenoob : 賣鏟子的：你們打一架前先買我的貨 07/07 08:32

→ bnn : 我感覺他是拿FP4打FP16 07/07 08:33

推 s155260 : 晶片是用GG的嗎 07/07 08:33

推 Utopiasphere: 演算法贏但AMD顯卡跟輝達有得比嗎 07/07 08:33

推 youga : 嗯看不懂 07/07 08:34

→ fallinlove15: 八成特定場景拿出來吹 07/07 08:34

推 ssarc : 輝達也可以委託他優化 07/07 08:34

→ e2204588 : FP4 ... 07/07 08:34

推 livewater : 丸 07/07 08:34

推 apolloapollo: 結論就是AI is over 在吹啊 07/07 08:34

推 CKRO : 鬼故事 07/07 08:34

推 s555666 : GPU本來就不是AI晶片的最佳解，ASIC才是AI特化晶片 07/07 08:35

→ s555666 : ，但nvidia就靠著產量和支援拼出了王座 07/07 08:35

推 LipaCat5566 : 擊落i皇之後下個是輝達嗎！？ 07/07 08:36

→ livewater : 算力果然過剩 07/07 08:36

→ kausan : 推理大家馬都贏不然哪有asic的事 07/07 08:36

推 keyneslan : 這樣AI要重新定價嗎以前的半價搞定 07/07 08:36

→ dannpptt : 真假啦別亂吹，這樣硬體股通通腰斬 07/07 08:37

推 pom820117 : 話題性滿滿,實感還沒有 07/07 08:37

推 goodman5566 : 左打英特爾右打輝達 amd yes 07/07 08:37

推 abc12812 : 相信黃董 07/07 08:37

推 eddy13 : 等真的不會限縮算力時再跟我說 07/07 08:38

推 bcismylove : 糙灰搭鬼故事來了 07/07 08:39

推 mitchness : 等到你的產品會被走私再說 07/07 08:39

推 rahim03 : 就算真的硬體股為什麼要腰斬？ 07/07 08:39

推 s555666 : 科技業不進則退，老黃想吃下AI還是得研發出更適合A 07/07 08:40

→ s555666 : I的晶片，不能老是靠cuda老本 07/07 08:40

→ rahim03 : 長期來看推理成本本來就會越來越低 07/07 08:40

→ JoeyChen : 這是指推論端吧? 07/07 08:40

推 starport : 輝達完了下去 07/07 08:41

推 ckpetercheng: amd早就屌打nv了 07/07 08:42

推 cowaksor : 算力過剩台股2萬台積500 07/07 08:42

推 Vvvahc : 引入標頭檔編譯失敗? 修正變數的命名才不會讓模型 07/07 08:43

→ Vvvahc : 初始data載入失敗? 這是哪間的三流公司請工讀生 07/07 08:43

→ Vvvahc : 來操作嗎? 07/07 08:43

推 mig : 蒜粒過剩 07/07 08:44

推 MorikonHase : 我不信 07/07 08:45

推 foolwind : 怎麼會腰斬當然是大家搶更多的貨阿 07/07 08:46

→ a9564208 : 聽起來就是老問題，沒有不一樣 07/07 08:47

→ energy100203: 鬼故事喔 07/07 08:47

噓 gj942l41l4 : …2026了還在跟B200比？ 07/07 08:48

噓 Robert0213 : 天天上演鬼故事，不累嗎？ 07/07 08:49

推 CTTSAI : 要相信黃董馬上就懂 07/07 08:49

推 bensonla : 算力成本變低是好事 07/07 08:49

推 sdbb : 樓下LDPC 07/07 08:49

推 hunt0413 : 教主都不分析了 07/07 08:51

→ salamender : 之前看人說amd可能再鱉一發大的 07/07 08:51

推 baan : 兩個都有量化？ 07/07 08:51

推 pru5566 : 算力過剩台積腰斬 07/07 08:54

推 cct1121 : 還早 07/07 08:54

推 davie11333 : 樓下彥州 07/07 08:55

推 lusifa2007 : 不信 N卡就是比A卡好 07/07 08:57

推 j0918jack : 力成表示 07/07 08:57

→ sing60905 : 大家成本低起來不是更好嗎對AI來說是好事 07/07 09:00

→ loking : 有競爭是好事 07/07 09:00

→ sing60905 : 之前怕賺不到錢現在成本驟降不是更好爽賺 07/07 09:00

推 lnonai : 企業私有數據不上雲 AMD好用又便宜 07/07 09:01

推 guanting886 : 如果包含output的token的成本壓在1M 0.2真的是吸引 07/07 09:02

→ guanting886 : 人但SA沒講的話就是呼嚨人的ㄏㄏ 07/07 09:02

→ timetostudy : 要崩了 07/07 09:02

推 harrychen413: 天~崩~地~裂 07/07 09:03

→ alex00089 : AI is over 07/07 09:03

噓 birdjack : 現在說什麼新創公司做了三小都是騙投資用的 07/07 09:03

→ birdjack : 真的被踢爆的時候才說是有嚴苛限制條件 07/07 09:03

推 xboxandone : 操輝達了嗎 07/07 09:04

→ WenliYang : 開始囉～ 07/07 09:04

推 jjack11 : 專業掉驅動你行你上 07/07 09:06

推 bunjie : 出貨文？ 07/07 09:07

推 jaceda : 鬼! 07/07 09:07

推 johnchiang : 還在顯卡... 07/07 09:08

推 BBKOX : NVIDIA 於 2024 年 3 月正式發表基於 Blackwell 架 07/07 09:08

→ BBKOX : 構的 B200 GPU，並於該年底正式上市 07/07 09:08

噓 arm370x : 驅動現在有Ai都還沒修好問題一大坨 07/07 09:08

推 henrylin8086: Linux上不會掉啦 07/07 09:09

噓 lionel20002 : NV就老AI死錢 07/07 09:10

→ sheep2009 : 單卡效能就算了吧 07/07 09:10

推 saya2185 : AMD 彎道超車 07/07 09:12

推 ntr203 : amdeepseek 07/07 09:12

推 gladopo : 跟以前一樣，amd的卡在兩年後準備接近老黃，但新卡 07/07 09:13

→ gladopo : 又要出惹 07/07 09:13

推 jorden : 真的假的僅靠軟體就能優化 07/07 09:13

噓 y80304 : 這騙點閱率喔...... 07/07 09:15

噓 win8719 : B200 現在是Rubin比B200快5倍以上 07/07 09:16

推 boykid : 開崩！！！ 07/07 09:23

推 saladbread : 本是台南生，香煎何太急？ 07/07 09:25

→ WWIII : 崩了 07/07 09:26

→ idernest : 完了 07/07 09:29

→ linleex : 不支援cuda沒用吧 07/07 09:29

→ ivanchang : 這則新聞很無言，只覺得NV技術領先AMD很多 07/07 09:31

推 furnaceh : 華西街又不會懂能炒就贏了 07/07 09:32

→ xiaoyao : 這故事也編得太爛 07/07 09:33

→ ohyakmu : 要跑贏nivida很容易吧！我說股價 07/07 09:33

推 SkyFee : AMD很猛 07/07 09:33

推 Arctica : ㄟ唉伊死歐ver 07/07 09:36

→ fallinlove15: 如果使用場景設定的好可以先暫存比較可能被調動的 07/07 09:36

→ fallinlove15: 模塊達到加速的效果這也是未來終端會推的做法 07/07 09:36

→ fallinlove15: 但這不是多難的技術說要贏輝達就來亂的 07/07 09:37

推 exitingsoul : 嘗試各種節省算力、降低精度的原因，不就是算力不夠 07/07 09:37

→ exitingsoul : 嗎？ 07/07 09:37

→ fallinlove15: 總不可能每種應用都用全能型的啊太貴 07/07 09:38

→ fallinlove15: 所以根本不用擔心過剩同樣一百塊你當然會希望能 07/07 09:39

→ fallinlove15: 買到的東西性能越強越好 07/07 09:39

→ fallinlove15: 如果對比手機發展過剩也是十幾年後的事了 07/07 09:40

→ alex00089 : 沒有鯊手級應用 07/07 09:40

推 tomdavis : AMD 甘納賽~~~ 07/07 09:40

推 s881720 : AMD YES 蘇媽鑽石加大 07/07 09:40

推 Dia149 : 過剩了 07/07 09:41

→ Lhmstu : 洗洗睡吧，想太多 07/07 09:42

噓 strlen : 我也有蘇媽啦但請蘇媽救救貪狗卡蛙 07/07 09:46

推 herculus6502: 推理沒有問題 07/07 09:47

推 young000 : 中國要弄新系統環境，AMD 鐵定有幫忙，CUDA 獨佔太 07/07 09:47

→ young000 : 貪了 XD 07/07 09:47

推 randystock : 不管誰贏都是要找GG代工 07/07 09:51

→ ojh : 股板高手3年前就提醒過gpu over了果然準 07/07 09:53

推 create8 : Amd yes!! 07/07 09:57

→ frank072304 : 特定場景 07/07 09:58

→ aloness : 3c產品是隨時間越來越廉價的，各位願意花iphone17 07/07 09:59

→ aloness : 的錢買iphone7嗎 07/07 09:59

→ NankanAvenge: ASIC功能單一不可能沒有完全沒有GPU 只是未來肯定 07/07 10:00

→ NankanAvenge: 會用ASIC取代大部分算力 07/07 10:00

💰 股票 Stock 版：熱門文章

💰 股票 Stock 版：更多文章