Fw: [閒聊] RTX3090 單/雙卡本地LLM運算AI電腦心得

作者ZMTL (Zaious.)

看板PC_Shopping

標題Fw: [閒聊] RTX3090 單/雙卡本地LLM運算AI電腦心得

時間Sun Apr 5 17:57:19 2026

※ [本文轉錄自 AI_Art 看板 #1fqY_Ppm ] 這篇算是純粹組裝心得文，拋磚引玉給大家參考，目標鎖定跑中規模的開源模型，目前來說是Gemma4 26B-A4B,31B 、Qwen3.5 27B,35B-A3B 基本上，我認為GTX3090是唯一信仰，以前沒有以後也不會有這價位的24GB+ VRAM顯卡了，至於Mac那條路我不熟，有熟的人可以另外補充，但PC架構還是有一定程度的擴充性。先上組好圖 https://imgs.plurk.com/QHO/ESJ/LMCfqiXl7TN0oC1300Y2hCUHhFZ_lg.jpg

https://imgs.plurk.com/QHO/KlS/0f4g0RGTY5fJTcbIahpwkdQK9Qj_lg.jpg

以下是我實際用過的單3090配置 CPU (中央處理器)：i5-12400 MB (主機板)：TUF GAMING B660-PLUS WIFI D4 RAM (記憶體)：金士頓 64GB(32GB*2) DDR4-3200 VGA (顯示卡)：ZOTAC RTX 3090 TRINITY 24G SSD (固態硬碟)：Kingston金士頓 KC3000 1TB M.2 PSU (電源供應器)：全漢 HYDRO G PRO 1000W/金牌/全模 CHASSIS (機殼)：全漢 CMT370 後來有一度上到128GB記憶體，發現真的沒啥用，這張單沒什麼特別的，現在照著張組一台二手的應該也沒什麼問題，唯一的細節是僅適合單3090，要雙3090基本上大半台都要換掉，見以下 ------------ 雙3090配置 CPU (中央處理器)：i5-12400 MB (主機板)：MSI Z690 FORCE WIFI RAM (記憶體)：威剛 64GB(32GB*2) DDR5-4800 VGA (顯示卡)：ZOTAC RTX 3090 TRINITY 24G MSI RTX 3090 Suprim X SSD (固態硬碟)：Kingston金士頓 KC3000 1TB M.2 PSU (電源供應器)：振華 Leadex 1200W CHASSIS (機殼)：Phanteks Enthoo Pro 2 Server Edition + 9 顆 TL-C12C-S 只留下了CPU、SSD、一張3090，沒了，對，就是這麼坑因為雙3090跑LLM，LLM要能把模型拆給兩張跑需要能讓兩張PCIE直連8x/8x的主機板，這個條件，基本上DDR4的主機板中沒有。就連DDR5，也只有部分的690跟790有，同一系690有不代表790有，不要問我為什麼我不知道，Claude的答案是後續的主機板會把槽留給硬碟？是不是8x/8x 最快的判斷方式是看主機板是不是兩張顯卡槽都有顏色舉例來說：這張是(FORCE是CARBON的白色版) https://tw.msi.com/Motherboard/MPG-Z690-CARBON-WIFI 這張不是 https://tw.msi.com/Motherboard/MPG-Z790-CARBON-WIFI 我家AI列出LGA1700符合條件的顯卡如下： MSI MPG Z690 CARBON WiFi MSI MEG Z690 / Z790 ACE (MEG 旗艦級才有保留) MSI MEG Z690 UNIFY / UNIFY-X ASUS ProArt Z690 / Z790-CREATOR WiFi ASUS ROG Maximus 系列 (Z690/Z790 Hero, Extreme) Gigabyte Z690 / Z790 AERO D ASRock Z690 / Z790 Taichi AI可能會有幻覺請自行核對、其他腳位可能也要自己研究。不過幫我組上電腦的資工系朋友說我照著AI開菜單組完幾乎沒買錯東西也是很厲害。 (有啦，Claude建議我買一個風扇Hub ，後來發現利民內建串接了算是個小失誤) 機殼方面，感謝得到來自這篇文的Zenryaku、ack0011以及其他板友的建議 https://www.ptt.cc/bbs/PC_Shopping/M.1773376727.A.FCF.html 最後是綜合Claude意見採用Phanteks Enthoo Pro 2 Server Edition 保證顯卡的呼吸空間，優點是整個機殼有15個風扇孔可以裝，吹好吹滿。 https://www.phanteks.com.tw/Enthoo-Pro2-Server.html https://images.plurk.com/rtYk5LSoncMUC6wnrUTR9.png

雖然我目前還是兩張3090疊羅漢，但我覺得應該可以考慮一張拉去旁邊站，這個打算下禮拜再來處理，也請大家再建議一下直立方案 (右邊硬碟下方應該可以對吧，我沒那麼多硬碟) 大家會覺得有點痛的應該還是在漲價後的DRAM上，全新的DDR4 32G一隻大概 6-8000、全新的DDR5 32G 都要上萬了，最後我買二手的DDR5 32Gx2 花了15000，這部分也僅供參考。至於未來會不會跌？我是說不準，但3090我看漲是肯定的。三年前第一張3090我買19000，上個月第二張3090我買24000，現在價錢大家可以自己看看目前規劃上來說，跑本地模型不是為了取代雲端模型。是讓本地模型完成大量基礎、涉及機敏的工作，舉例來說： ‧大量 code review 初篩，只把複雜問題送給 Sonnet/Opus ‧機密文件問答，資料不出門 ‧多代理人架構的執行層，成本歸零 ‧24 小時批次推理，電費比 API 費用省在本地跑 Qwen / Gemma，雲端留給真正需要判斷力的任務。我認為 LLM Router 架構才是 2026 年 AI 工作流的核心建設。 Claude 很厲害，但我不會假設它永遠都在，掌握自己的動態算力，這才是黃仁勳說的 Sovereign AI。以上是不專業分享，歡迎指導，感謝。 -- AI_Art AI藝術/生成式AI板歡迎各方前來討論生成式AI相關議題！ ◆ 從 Human-in-the-Loop → Human-AI Symbiosis (人機共生) ◆ LinkedIn：https://www.linkedin.com/in/zaious/ GitHub ：https://github.com/Zaious ChronicleCore (Multi-Agent Ecosystem) 白皮書： https://github.com/Zaious/ChronicleCore-Architecture -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.27.184.211 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/AI_Art/M.1775382489.A.CF0.html ※ 編輯: ZMTL (114.27.184.211 臺灣), 04/05/2026 17:57:04 ※ 發信站: 批踢踢實業坊(ptt.cc) ※ 轉錄者: ZMTL (114.27.184.211 臺灣), 04/05/2026 17:57:19

→ ZMTL: 看過板規應該沒什麼冒犯的地方嗎...? 感謝 114.27.184.211 04/05 17:58

→ ZMTL: 電蝦板尤其是Zenryaku大在我幾次組電腦都給 114.27.184.211 04/05 17:58

→ ZMTL: 了相當詳盡的意見，希望把一點AI PC的範本 114.27.184.211 04/05 17:58

→ ZMTL: 轉來板上提供給未來有需要的人參考。 114.27.184.211 04/05 17:58

推 bobbyac01: 48G跑個30B上下估計只能Q4 也不知道你 1.169.228.66 04/05 18:01

→ bobbyac01: 有沒有建vLLM SGLang 離生產級好遠 1.169.228.66 04/05 18:01

推 Luciferspear: 先推再看 1.171.207.231 04/05 18:01

推 william456: 3090的背板太燙 114.42.243.63 04/05 18:02

推 jhjhs33504: 單機生產級多工養龍蝦最低IQ2_XXS起跳 36.228.11.93 04/05 18:07

推 jhjhs33504: 少數模型還有1bit量化技術應該能更省 36.228.11.93 04/05 18:11

→ ZMTL: 雙3090能跑的模型不可能當龍蝦主腦啦 114.27.184.211 04/05 18:15

推 yenchieh1102: 推 101.10.0.87 04/05 18:15

→ ZMTL: 負責資料收集、文件翻譯、知識歸納都很有用 114.27.184.211 04/05 18:15

→ ZMTL: 上面這些工作讓Cluade來跑才真的浪費 114.27.184.211 04/05 18:16

推 kaj1983: 感謝分享配備，看來cpu不用買太好也能跑 218.166.17.234 04/05 18:21

推 Rollnmeow: 不知有沒有勇者嘗試雙ARC B70的 49.216.252.165 04/05 18:32

→ EBVirus: 想請問你的結論這幾個模型哪個比較好用 36.239.20.247 04/05 18:34

→ EBVirus: ？ Gemma 4 31b還是qwen3.5 27b還是35b? 36.239.20.247 04/05 18:34

可以參考AI板文章 https://www.ptt.cc/bbs/AI_Art/M.1772731938.A.221.html https://www.ptt.cc/bbs/AI_Art/M.1775187123.A.6FB.html 快速結論：要推理：雲端超級模型 eg.Opus 4.6 > GPT 5.4 > Gemini 3.1 Pro 地端苦工(翻譯、資料清洗)：Defense 模型 Gemma4 31B、 Qwen3.5 27B 地端高效(聊天、問題警報)：MoE 模型 Gemma4 26B-A4B、Qwen3.5 35B-A3B 中文需求：Qwen3.5 多模態任務：Gemma4

推 weiber82: 還是每個月花100美好了… 27.247.32.53 04/05 18:34

→ ZMTL: Gemma4我還沒事，我目前都跑Qwen 114.27.184.211 04/05 18:35

→ ZMTL: 然後Claude我每個月是訂200$，100$都不夠用 114.27.184.211 04/05 18:35

→ ZMTL: 不過Claude這幾天才嚴令用Oauth串訂閱養蝦 114.27.184.211 04/05 18:36

→ ZMTL: 你要養蝦還是要評估怎麼節流 114.27.184.211 04/05 18:36

推 saito2190: 兩張卡應該是vLLM para開2去跑了吧 1.161.179.230 04/05 18:38

→ saito2190: 都玩到這樣了總不會還在用ollama... 1.161.179.230 04/05 18:38

→ saito2190: 不知道Qwen3.5 Tool Call的Bug修好了 1.161.179.230 04/05 18:39

→ saito2190: 沒 1.161.179.230 04/05 18:39

誠實來說，我組完雙卡就回家過清明了，還在研究怎麼跑雙卡比較實際，所以這篇基本上是提供硬體上的心得XD ※ 編輯: ZMTL (114.27.184.211 臺灣), 04/05/2026 18:53:06

推 YCL13: Qwen3.5雖然很強，但使用上真問題一堆 1.161.159.4 04/05 18:51

推 jhjhs33504: 量化模型要Q8_K或Q8_K_L問題會少很多 36.228.11.93 04/05 19:01

推 jhjhs33504: 居然還有少數Q8_K_XL量化模型品質更好 36.228.11.93 04/05 19:05

推 YukihanaLami: 推我就是拉到旁邊站兩張卡疊加放 118.168.254.20 04/05 19:10

→ YukihanaLami: 置不適合我這溫度敏感黨 118.168.254.20 04/05 19:10

推 YCL13: 如果接受拉到旁邊站...其實用拆分卡就好， 1.161.159.4 04/05 19:19

→ YCL13: 不過原PO本來的卡有點低階不確定是否支援 1.161.159.4 04/05 19:19

→ YCL13: 本來的MB 1.161.159.4 04/05 19:20

→ crimsonmoon9: 3090有沒有考慮上nvlink 42.77.204.245 04/05 19:20

推 ack0011: 其實X570比較容易找到符合的，或是多花 123.241.15.208 04/05 19:53

→ ack0011: 一點找個TR4 X399就能隨便插，還能用相 123.241.15.208 04/05 19:53

→ ack0011: 對便宜的16G湊到128G 123.241.15.208 04/05 19:53

→ ZMTL: 對了我要請教一下，直立架+延長線到底能不能 114.27.184.211 04/05 19:58

→ ZMTL: 保留x8啊，硬體我真的很不懂XDDD 114.27.184.211 04/05 19:58

→ himekami: X570 proart我記得有x8/x8 111.83.25.151 04/05 20:06

推 bobbyac01: 直立架跟延長線本身目標就是跑PCIe X1 1.169.228.66 04/05 20:24

→ bobbyac01: 6 1.169.228.66 04/05 20:24

→ bobbyac01: 你要跑x8不會有太大問題 1.169.228.66 04/05 20:24

→ bobbyac01: 但是需要小心訊號不穩 1.169.228.66 04/05 20:24

→ bobbyac01: 有擔心的話可以考慮SFF系列的轉接卡 1.169.228.66 04/05 20:24

推 autopass: 3090 也要缺貨了嗎? 140.109.40.73 04/05 20:28

推 fu1vu03: 如果只是翻譯功能這幾天玩Gemma 4 E4B感 125.229.5.91 04/05 20:30

→ fu1vu03: 覺比gemma 3 27B還好用 125.229.5.91 04/05 20:30

推 jhjhs33504: Gemma 4 E4B還支援音訊 Qwen3.5有台語 36.228.11.93 04/05 20:34

推 d0178411: 前幾天才看到有人雙3090延長線燒毀樓主 111.71.212.155 04/05 20:36

→ d0178411: 要用好一點的延長線啊 111.71.212.155 04/05 20:36

推 hangtenboy: 看不懂還是給推 114.43.130.151 04/05 20:42

推 Rollnmeow: 原PO指的延長線是PCIE 我還沒聽過會燒 36.227.219.87 04/05 20:49

推 william456: https://i.ibb.co/HJ3LTcS/1.jpg 114.42.243.63 04/05 20:56

→ william456: https://i.ibb.co/r2zg0ZNP/1.jpg 114.42.243.63 04/05 20:56

推 william456: 有人燒過喔，不少個 114.42.243.63 04/05 20:57

→ ZMTL: 好用的延長線跟直立架有推薦嗎XD 114.27.184.211 04/05 20:59

推 jack2k: 以現在RAM/SSD金貴的程度，有這樣的需求， 114.45.25.190 04/05 21:01

→ jack2k: DGX Spark好像也不是不能考慮了? 114.45.25.190 04/05 21:01

→ Rollnmeow: 這有調查過原因嗎？我猜也是觸點問題 36.227.219.87 04/05 21:01

推 taobnug: 目前3090用oculink外接（pcie3.0x4）跑c 111.82.146.63 04/05 21:07

→ taobnug: omfyui和llm使用約一年，一切順暢。 111.82.146.63 04/05 21:07

推 william456: 沒去追蹤，不知道跟GN之前拍過的nz 114.42.243.63 04/05 21:43

→ william456: xt h1是不是同問題，但品牌都不同 114.42.243.63 04/05 21:43

推 Rollnmeow: 如果什麼牌子的線都有機會燒起來 36.227.219.87 04/05 21:50

→ Rollnmeow: 我看解法只剩在機殼裡放熱像儀了 36.227.219.87 04/05 21:50

推 lordmi: 我好奇nvlink在消費級系統裡面有多大幫助 36.229.66.36 04/05 22:33

→ lordmi: ，有機會跑一下比較w 36.229.66.36 04/05 22:33

→ ZMTL: 根據Claude的說法，有沒有Nvlink 跑LLM大概 101.8.89.246 04/05 22:39

→ ZMTL: 差10-15%，主要還是靠PCIE連通，但我不知道 101.8.89.246 04/05 22:39

→ ZMTL: 真的假的XD 101.8.89.246 04/05 22:39

💻 電蝦 PC_Shopping 版：熱門文章

💻 電蝦 PC_Shopping 版：更多文章

Fw: [閒聊] RTX3090 單/雙卡 本地LLM運算AI電腦心得

💻 電蝦 PC_Shopping 版：熱門文章

💻 電蝦 PC_Shopping 版：更多文章

Fw: [閒聊] RTX3090 單/雙卡本地LLM運算AI電腦心得