[心得] 顯卡真實 AI 算力整理 GPU AI TOPs

作者james58899 (james58899)

看板PC_Shopping

標題[心得] 顯卡真實 AI 算力整理 GPU AI TOPs

時間Sat Feb 21 17:51:33 2026

之前在巴哈和板上看到用9070XT跑圖片生成的文章，突然對跑AI有了興趣然後就拉著小伙伴們一起來跑AI，所以肯定要比一下誰顯卡跑比較快結果發現網路上到處都是又稀疏又低精度的膨脹算力，實際幾乎用不到只好從各種官方文件中整理不同精度的實際算力一查才知道原來我拿9070XT打了半年的遊戲結果跑AI也很強總之先上圖 https://i.urusai.cc/8FRjv.png

原始表格： https://reurl.cc/KOZj1M https://docs.google.com/spreadsheets/d/1V0LZwM7pADpgszZdZuzNZyXD8Uwvg2b-XavzM14Bz1U 網頁匯出版： https://reurl.cc/MMrdm4 主要看FP16/BF16和INT8/FP8這幾行一般圖片生成都是用FP16/BF16少數使用FP8量化，而語言模型大多用FP8/INT8或更低的量化語言模型更吃記憶體頻寬，圖片生成更注重算力但也還是吃記憶體頻寬當然這些都是建立在VRAM夠用的前提下如果VRAM不夠用就需要頻繁將模型的權重在RAM和VRAM之間搬來搬去由於NVIDIA卡的變種實在太多了，所以僅整理有官方規格或比較有可能拿來跑AI的卡如果有其他感興趣的卡，可以先找接近的型號根據Tensor核心數估算一下或者也可以推文留言，等我哪天有空可能會補充進表格原本以為想跑AI只能買NVIDIA，結果發現其實Intel和AMD支援性都已經不錯了最新的AMD Windows驅動甚至直接把AI大禮包整進安裝工具，直接開箱即用都不用搞半天環境 Intel A770原本以為是遊戲卡，結果其實是AI卡，跑AI比跑遊戲強多了... 傳說中的AI金磚DGX Spark實際上就只有128G很大，實際算力和頻寬都還好而已我覺得如果只是想試試AI的人買個9070XT是個不錯的選擇說AMD驅動不行的反正我是半點問題沒遇到，真要說也只有爆VRAM的時候有機會崩驅動但這任何顯卡都一樣，你VRAM用滿了東西就得炸沒炸也只是驅動或系統在盡力把東西搬到RAM而已，搬不了或者來不及搬的時候還是要死如果主要就是跑AI的話，AMD全家桶用起來也沒問題可以考慮AMD R9700 基本上就是有32G VRAM的9070XT，但價格也翻了一倍，不過還是比NV便宜不然就直上RTX 5090，或者直接攻頂滿血的RTX PRO 6000，信老黃肯定沒錯對吧在人類突破物理極限或者找到新的AI計算方式之前，多少算力就要多少功耗，沒有任何魔法如果有個東西算力很高那只有兩個可能，一個是功耗也很高，另一個就是算力灌水 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.213.184.242 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1771667496.A.A72.html

推 ltytw: 現在硬體貴其實是天網想搞死玩家吧 211.23.223.225 02/21 17:53

※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 17:54:44

→ commandoEX: 比非稀疏性能沒那麼真，NV有針對稀疏 1.161.86.46 02/21 17:56

→ commandoEX: 運算加速，大語言模型也是稀疏矩陣 1.161.86.46 02/21 17:56

稀疏加速的要求其實很高，矩陣要有一半都是0才能觸發而且還要特定格式的0，不是隨便有一半就行我偏向認為宣傳大於實際意義，而且要看稀疏算力直接x2就是了另外AMD RDNA4其實也支援稀疏加速 ※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 18:06:47

→ a85139138: A卡跑AI最大的問題是生態不是算力吧 39.9.32.248 02/21 18:03

→ a85139138: 一堆套件都是針對CUDA開發的 39.9.32.248 02/21 18:04

→ a85139138: 要用A卡跑還得先各種debug和配置好環 39.9.32.248 02/21 18:04

→ a85139138: 境 39.9.32.248 02/21 18:05

現在AMD配置難度已經幾乎沒有了，需要的操作就只有把cuda版pytorch換成rocm版而已蓋在pytorch上的東西都能無縫直接能用，基本上就只有NV那幾個黑魔法加速不能用但最近我看社群也都有搞出替代方案了，實際差距沒有想像中那麼大

推 cylinptt: 不知道4090魔改的數據怎麼樣 1.169.96.32 02/21 18:05

魔改只有加大VRAM吧，頻寬和算力應該是不會變的 ※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 18:14:17

→ jkiu: spark定位是開發用機，另外它的一個相對amd 49.216.162.107 02/21 18:10

→ jkiu: 的強項是pp，長context的處理速度 49.216.162.107 02/21 18:10

噓 kf0916: 跑ai買amd真的自找麻煩 111.71.213.117 02/21 18:12

推 lordmi: 只比TOPs意義不大。在模型比較大的時候， 114.136.162.73 02/21 18:13

→ lordmi: 瓶頸往往不在計算而在存儲相關操作。同樣 114.136.162.73 02/21 18:13

→ lordmi: 的顯卡核心計算單元，使用不同的存儲架構 114.136.162.73 02/21 18:13

→ lordmi: （例如hbmvslpddr）或者不同的存儲布線， 114.136.162.73 02/21 18:13

→ lordmi: 跑模型的速度都會有顯著不同。要不為啥高 114.136.162.73 02/21 18:13

→ lordmi: 階存儲漲價漲那麽高？ 114.136.162.73 02/21 18:13

表格也有列記憶體頻寬，如果知道自己用途就特別吃頻寬的話當然挑大的買其實AMD的Infinity Cache對AI也有奇效，不過這就要軟體去相容才能吃到

推 meteor724: 打臉板上推n卡跑ai 42.76.9.186 02/21 18:15

※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 18:19:57

推 sorrojvr: 8g vram、12gvram應該不會跑fp32 、16 223.138.33.196 02/21 18:23

→ sorrojvr: 光模型就大的嚇人 vram根本不夠 223.138.33.196 02/21 18:23

→ sorrojvr: 我覺得跑fp8,Q4k的gguf反而很多人 223.138.33.196 02/21 18:23

→ sorrojvr: 因為很多人顯卡只有8g-12gvram 223.138.33.196 02/21 18:23

→ sorrojvr: 需求vram低跑出來效果也還可以 223.138.33.196 02/21 18:23

推 guanting886: 推原PO認真分享 42.78.136.145 02/21 18:25

推 mizumutsuki: 2060S 8G都能列入表格了，請問9060XT 1.169.205.247 02/21 18:46

→ mizumutsuki: 8G能跑嗎 1.169.205.247 02/21 18:46

這是因為我的小伙伴就用那張所以才在表格裡 8G對於AI來說真的是很不夠用，你需要找低精度量化的模型來跑

→ takanasiyaya: 這看起來就很雲，容量才是重點，不 49.216.185.52 02/21 18:47

→ takanasiyaya: 夠你根本不能用大模型 49.216.185.52 02/21 18:47

推 s78513221: 簡單部署嗎...？ollma直接表示不支援 111.71.35.95 02/21 18:49

笑死，我覺得這是ollama本身就特別雷llama.cpp本身用vulkan明明就能跑得很好 AMD AI大禮包裡面另一個LM Studio就跑得很開心

推 YCL13: 在跑圖這塊，A家GPU已經有不錯的支援了，但 1.161.178.136 02/21 18:51

→ YCL13: 在跑LLM部分，覺得連CPU的支援都還比不上 1.161.178.136 02/21 18:51

※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 18:56:52

推 guogu: 沒有6600xt 太苦惹 49.214.10.111 02/21 18:56

6600XT又8G又RDNA2，你還是放過它乖乖打遊戲吧 RDNA3才有矩陣加速，然後RDNA4的矩陣加速才是滿血的這也能解釋為什麼AMD限制基於AI的FSR4在RDNA4卡才能用 ※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 19:02:30

推 ttping: 為什麼跳過3080 QAQ 115.43.71.11 02/21 19:10

3080那可憐的VRAM大小，空有算力沒用阿，讚嘆老黃刀法吧

推 davidex: 借問一下9060XT 16GB能跑AI嗎? 36.230.12.222 02/21 19:10

16G肯定是能跑，但算力和頻寬都只有9070XT的一半，速度大概也只有一半 ※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 19:22:10

推 sugoichai: 9060xt不就寫在表上嗎？ 49.216.225.159 02/21 19:23

推 tshu: A770頻寬給的夠，其實很有誠意 49.215.226.108 02/21 19:25

→ tshu: 一般使用者跑跑fp8過個癮就行了 49.215.226.108 02/21 19:26

推 YCL13: 不會那麼慘啦，如5060ti能力不到5080的一半 1.161.178.136 02/21 19:27

→ YCL13: ，我實際用起來表現約60%左右，因為PC端也 1.161.178.136 02/21 19:27

→ YCL13: 會有響影，真不要因為覺得自己硬體差就不試 1.161.178.136 02/21 19:27

→ YCL13: ，嚐試後你可能會發現其實沒那麼不堪，像我 1.161.178.136 02/21 19:28

→ YCL13: 之前爬國外討論區時，一堆人只用3060也玩得 1.161.178.136 02/21 19:28

→ YCL13: 很開心 1.161.178.136 02/21 19:28

推 davidex: 喔喔看到了居然還優於5060ti呀 36.230.12.222 02/21 19:29

→ commandoEX: 一般定義稀疏矩陣是非零元素<5%的矩陣 1.161.86.46 02/21 19:29

→ commandoEX: 50%非零元素你的矩陣不用做1B，做1M 1.161.86.46 02/21 19:31

→ commandoEX: 的FP8就要3000G記憶體儲存 1.161.86.46 02/21 19:31

→ commandoEX: Transformer 的注意力矩陣大概只有 1.161.86.46 02/21 19:32

→ commandoEX: 幾億分之一的非零元素吧 1.161.86.46 02/21 19:33

推 jake255121: 很有價值的整理 39.14.56.185 02/21 19:33

→ commandoEX: 所以稀疏矩陣運算本來就要壓縮 1.161.86.46 02/21 19:33

→ commandoEX: 原始矩陣才能做 1.161.86.46 02/21 19:34

→ vsbrm: 主要是軟體支援程度 42.77.28.39 02/21 19:35

推 royalblue213: 感謝整理分享 49.216.46.253 02/21 19:37

推 avans: 對窮人來說算力根本無所謂vram大小才是重點 111.241.113.55 02/21 19:38

→ avans: 仍在使用3060 12Gw 111.241.113.55 02/21 19:38

推 a22663564: 很多人就是喜歡品牌迷思，先噓在說， 180.214.182.79 02/21 19:41

→ a22663564: 雖然我沒跑AI，但看原Po的解釋覺得沒 180.214.182.79 02/21 19:41

→ a22663564: 必要帶偏見，畢竟他有實際執行，自己 180.214.182.79 02/21 19:41

→ a22663564: 有用過覺得ok就ok，幫補推 180.214.182.79 02/21 19:41

推 fu1vu03: DGX spark的fp16比5080還強喔？223.137.134.255 02/21 19:54

DGX Spark似乎是滿血的FP16，但聽說那東西還會過熱降頻，實際可能更低沒有任何官方資料有給除了FP4以外的算力，而且那價格比5080強應該的吧 ※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 20:07:08

推 glenmarlboro: 看來19112台幣入手的xfx 7900xt真的 114.137.2.210 02/21 20:05

→ glenmarlboro: 不虧 114.137.2.210 02/21 20:05

推 Supasizeit: 覺得AI看跑分的無腦買A卡就好203.204.195.174 02/21 20:10

推 zseineo: 推 1.160.24.86 02/21 20:11

推 ganei: 能跟R9700打對台的就淘寶/鹹魚的4080S改32G118.165.132.219 02/21 20:11

→ ganei: ，原本雙12前價錢差不多但漲一波後現在貴一118.165.132.219 02/21 20:11

→ ganei: 截了，改卡保固就看店家佛心跟個人本事118.165.132.219 02/21 20:11

推 ctes940008: 工作用途建議從Pro 6000開始買。 36.237.104.147 02/21 20:40

→ ctes940008: 其他32GB以下都算是遊戲用途 36.237.104.147 02/21 20:40

推 saito2190: 從老黃的記憶體頻寬就能看出刀法精湛 59.115.159.201 02/21 21:16

推 schula: 4090這樣算超值了吧 223.139.5.187 02/21 21:21

推 dos01: 還是那句話210.209.164.247 02/21 22:20

→ dos01: 可以跑跟買來就能解決問題是兩回事210.209.164.247 02/21 22:21

→ dos01: 當可以跑的前提是需要轉特定的東西或者是210.209.164.247 02/21 22:22

→ dos01: 找特定的解決方案對大多數人只想一鍵處理210.209.164.247 02/21 22:22

→ dos01: 的人來說基本上就等同於不能跑210.209.164.247 02/21 22:22

推 ireina723: 那就只有gemini gpt能跑了對阿 36.231.223.203 02/21 22:57

推 htps0763: A卡看跑分就沒用 36.239.245.101 02/21 23:14

→ htps0763: 那個ROCm主要用linux開發，win上缺一堆 36.239.245.101 02/21 23:14

→ htps0763: 組件 36.239.245.101 02/21 23:14

→ htps0763: 在等個半年一年，看看ROCm什麼時候實現 36.239.245.101 02/21 23:15

💻 電蝦 PC_Shopping 版：熱門文章

💻 電蝦 PC_Shopping 版：更多文章