[心得] R9700 + Qwen 3.8 27B 專用 llama 分享

作者overdoingism (做過頭主義)

看板PC_Shopping

標題[心得] R9700 + Qwen 3.8 27B 專用 llama 分享

時間Fri Sep 25 15:40:40 2026

更新： https://github.com/stew675/llama-cpp-rdna-boosts 已經將此次最佳化整合並且泛化（有更好的適用範圍），套用他們的版本即可最近買了貴死的 AMD AI PRO R9700，就是看準了要跑 Qwen 3.8 27B。結果這性能真的只能用一地雞毛來形容，完全不知所云，還有走 ROCm 官方 API 比 Vulkan 通用 API 還慢的這種怪事。於是我就跟AI商量，能不能把你自己變快點。 Qwen 3.8 27B 上網一番查找，我最終得到了一個　 prefill 快很多＋ decode 慢不少的版本：官方Llama.cpp ROCm build + rdna patchs https://github.com/stew675/llama-cpp-rdna-boosts 在長上下文，總時長甚至沒贏 LM Studio 自帶的 vulkan 版。這都是個啥啊，崩潰.....還太早了，我還有好朋友，克勞德於是我就整包丟去給 Claude opus 5.5，你能幫我搞個縫合怪嗎？ prefill 用 ROCm，decode 用 vulkan？ opus 5.5 想了下，覺得這已經是邪門歪道了，勸我別搞，他答應幫我修復 ROCm 版。經過一夜折騰，現在 Windows 的我可以在Q5權重、Q8 KV、26萬上下文、開MTP 得到 850t/s 的 Prefill、35t/s 左右的 decode。 Linux 也能用。如果有誰有需要，可以在這裡索取：（我建議是直接讓AI代理來讀） https://github.com/overdoingism/rdna4-fa-band-wmma/blob/main/AGENT-GUIDE.md 讓蘇媽再次偉大！不得不說，Qwen 3.8 27B，這量體有這性能，還能幫 opus 5.5 挑錯，簡直鬼神.... -- 有 Opus 5.5 為什麼還要用本地 Qwen 3.8.... 因為 Opus 5.5 是借來的，買完顯卡沒錢訂閱了（哭啊） -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 193.148.18.52 (美國) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1790322044.A.341.html ※ overdoingism:轉錄至看板 AI 09/25 15:42 ※ overdoingism:轉錄至看板 AI_Art 09/25 15:49

→ ZMTL: 我剛開始用地端時這個也不會那個也不會，顯 125.228.55.14 09/25 16:04

→ ZMTL: 卡不會設定，lmstudio或ollama也不會設定 125.228.55.14 09/25 16:04

→ ZMTL: 可以色，但一直跳針，講話三不五時就斷掉 125.228.55.14 09/25 16:05

→ ZMTL: 那時候還是用qwen3.6，我想說地端vllm什麼 125.228.55.14 09/25 16:05

→ ZMTL: 垃圾 125.228.55.14 09/25 16:05

→ ZMTL: 結果後來花點時間... 讓claude全程操辦後， 125.228.55.14 09/25 16:05

→ ZMTL: 現在要多舒服有多舒服，聊天或我人不在電腦 125.228.55.14 09/25 16:05

→ ZMTL: 前半夜自動撈論文、做一堆亂七八糟的工作、 125.228.55.14 09/25 16:06

→ ZMTL: 全部都是qwen3.8(現在)解決，單卡3090跑27B 125.228.55.14 09/25 16:06

→ ZMTL: 結論就是遇到事情不懂就問claude/gpt，但地 125.228.55.14 09/25 16:07

→ ZMTL: 端就是某種買斷制XDy 125.228.55.14 09/25 16:07

→ crimsonmoon9: 兩張可以跑fp8+262k q8_0接近全血版 42.77.4.165 09/25 16:43

推 yeeouo: 讚讚讚 42.76.129.79 09/25 17:03

推 crazyman7011: 注重速度可以參考vllm radiance，但 114.37.144.22 09/25 17:27

→ crazyman7011: 就不是win系統了 114.37.144.22 09/25 17:27

推 jfmf: 也是R9700，OS是CachyOS, vulkan後端，每秒 49.239.74.57 09/25 17:51

→ jfmf: token產出速度約48個。若用 ROCm, 則速度 49.239.74.57 09/25 17:51

→ jfmf: 掉到每秒38個。 49.239.74.57 09/25 17:51

推 gameguy: 聽GG一句，買顯示卡請買Nvidia，請買Nvid 223.137.80.100 09/25 18:36

→ gameguy: ia，請買Nvidia，很重要一定要說三次，AM 223.137.80.100 09/25 18:36

→ gameguy: D顯示卡別碰，下一代又改成UDNA架構，這 223.137.80.100 09/25 18:36

→ gameguy: 玩意沒出個三代以上別考慮買 223.137.80.100 09/25 18:36

推 d030b: 感謝分享 36.226.213.199 09/25 18:41

→ n3688: N卡漲到他媽媽都認不出來,是有其原因的 49.159.251.120 09/25 19:51

→ kf0916: 雖然天下苦老黃久矣，但N卡狂漲不是沒有 223.143.240.45 09/25 20:03

→ kf0916: 道理的 223.143.240.45 09/25 20:03

推 stradadelsol: 已下一顆5800x3d ddr4再戰十年（ 27.53.137.87 09/25 20:28

→ stradadelsol: 靠杯回錯篇w 27.53.137.87 09/25 20:29

推 kill780215: 玩遊戲才買AMD 要玩本地AI N家屌打 49.216.17.135 09/25 21:19

→ bhmagic: Vulkan Vulkan Vulkan 99.118.209.229 09/25 21:56

→ bhmagic: 其他都是垃圾 99.118.209.229 09/25 21:56

推 Chilloutt: 用apu 不曉得行不行 223.137.80.251 09/25 22:08

→ gbcg9725: ai max 395算力差這個很多 119.77.138.132 09/25 22:10

→ gbcg9725: https://tinyurl.com/ff499bsk 119.77.138.132 09/25 22:14

→ gbcg9725: 不知原po有沒有試這個 119.77.138.132 09/25 22:14

推 jen1121: R9700 應該算最便宜入門的了 61.231.2.246 09/25 22:15

推 kimisawa: 我本來想買耶感覺太多毛了 68.228.69.69 09/25 22:50

推 a1e: 如果能壓小一點性能損失一點點，一般pc用的ai122.118.138.122 09/25 23:23

→ a1e: 可能會被qwen一統江湖122.118.138.122 09/25 23:24

→ ActionII: 自用真的別考慮n家以外的 42.73.217.11 09/25 23:25

→ ActionII: 這價格可以買兩張5060ti，性能跟方便性 42.73.217.11 09/25 23:27

→ ActionII: 都比這張好 42.73.217.11 09/25 23:27

→ ActionII: 只是最近又漲價了== 42.73.217.11 09/25 23:27

→ ActionII: 要壓小一點，有不少10b的密集模型… 42.73.217.11 09/25 23:28

→ ActionII: 雙5060ti 還支援nvfp4 ，12萬上下文不 42.73.217.11 09/25 23:31

→ ActionII: 壓縮是可行的 42.73.217.11 09/25 23:31

推 deolinwind: N把A打趴在地上，I家在地下 36.237.153.135 09/26 00:32

推 mofass: qwen3.8的問題就是用語太支了 111.250.96.13 09/26 00:43

推 gozule: 我用intel b70在linux跑qwen3.8 27b和9700 223.139.79.56 09/26 01:11

→ gozule: 差不多,卡更便宜，不過參數調一陣子才順 223.139.79.56 09/26 01:11

→ gozule: 要開投機解碼，可以多榨50%以上的decode產 223.139.79.56 09/26 01:13

→ gozule: 出 223.139.79.56 09/26 01:13

推 SRNOB: 你沒調查清楚因為R9700記憶體頻寬速度慢 111.255.86.153 09/26 08:40

→ SRNOB: 他只是32G而已 111.255.86.153 09/26 08:41

→ SRNOB: 5060ti頻寬也是慢 111.255.86.153 09/26 08:41

推 arnold3: 3.8雲端一堆免費的能用 182.234.101.87 09/26 11:26

推 tanted: 5090 記憶體頻寬是R9700的3倍價格3倍以上 123.193.229.55 09/26 11:59

推 Layase: 怕這張這麼貴只有32g當賣點 223.137.73.117 09/26 12:05

→ Layase: 隨便玩q5沒研究優化大概6x t/s 223.137.73.117 09/26 12:06

→ gbcg9725: 現在顯卡都是看vram 定價的啊.. 119.77.138.132 09/26 12:06

→ Layase: 5090丐版 223.137.73.117 09/26 12:07

推 sheng76314: 買mac更盤結果還有人出書鼓吹暈 122.121.66.207 09/26 13:03

推 laeva75: mac有超大統一記憶體啊 110.28.96.95 09/26 15:10

推 Supasizeit: 勁戰仔笑開Lexus的沒買特203.204.195.174 09/26 15:27

推 wanga10000: 實作推但你這速度感覺能再優化推薦 42.72.157.107 09/26 15:44

→ wanga10000: 掄錘者論壇 42.72.157.107 09/26 15:44

→ Sam27: 超大慢也痛苦，目前唯一解就是pro6000111.253.193.242 09/26 17:46

→ ActionII: Mac 的賽道不是這顆模型，是混合專家那 42.73.217.11 09/26 19:26

→ ActionII: 一邊，你買128g ram 這模型也是跑不快 42.73.217.11 09/26 19:26

→ ActionII: ，還更貴 42.73.217.11 09/26 19:26

推 jen1121: 買A卡就是折騰自己 36.224.183.114 09/27 09:17

推 ultimatevic: B70 比較便宜 111.242.38.119 09/27 10:43

→ ultimatevic: 反正都要折騰 111.242.38.119 09/27 10:43

→ lizard6881: 顯卡的錢可以雲端爽很久 1.164.80.35 09/27 14:04

推 x90050: 會買卡的不就是喜歡自己折騰? 220.134.92.156 09/27 15:52

※ 編輯: overdoingism (193.148.18.52 美國), 09/27/2026 22:16:44

→ thomaschion: 拿地端跟雲端比就是你不懂125.228.189.235 09/27 20:23

推 YCL13: R9700和B70都算是熱門卡，不用折騰，要跑熱 59.115.175.159 09/27 20:58

→ YCL13: 門的Qwen3.8 27B照抄就好了，就算接下來要 59.115.175.159 09/27 20:58

→ YCL13: 出的Qwen4.0也會很快就有得抄的 59.115.175.159 09/27 20:59

推 World5566: b70讚便宜堪用 36.231.180.87 09/27 21:17

推 cercloud: 能跑vulkan就能用，都說比自家api還快106.104.176.254 09/27 21:43

→ cercloud: 了，哪還需要折騰106.104.176.254 09/27 21:43

推 shinjikawuru: 目前CP最高的是雙2080TI22GB+NVLINK 1.172.68.151 09/27 22:49

→ shinjikawuru: 256K雙併發90+90t/s+1600 prefill 1.172.68.151 09/27 22:51

推 tanted: https://youtu.be/watch?v=XbzrcuN4Wv0 123.193.229.55 09/27 23:02

→ tanted: 平民顯卡一夜變「AI 超跑」？R9700 狂飆 123.193.229.55 09/27 23:02

→ tanted: 3619 Token/s，竟逼近 RTX 5090 123.193.229.55 09/27 23:02

→ tanted: 不曉得上面youtube 是不是真的 123.193.229.55 09/27 23:02

💻 電蝦 PC_Shopping 版：熱門文章

💻 電蝦 PC_Shopping 版：更多文章