推 are2: MOE模型用啥跑都很快 但你接受這智商?118.150.170.141 07/06 02:11
→ are2: 長遠看別買I卡獨顯 N家入股後可能會被放生118.150.170.141 07/06 02:11
→ are2: 買張7900XTX生態跟速度都更好 還更便宜118.150.170.141 07/06 02:12
推 are2: 喔 看錯 原來卡有了 那剩下隨便118.150.170.141 07/06 02:14
→ Litfal: 我也好奇26B不嫌笨嗎?1.34.131.99 07/06 02:14
→ shane10222: 本地端有更好的?60.198.151.23 07/06 03:29
→ shane10222: 32GB有其他更好的選擇嗎?60.198.151.23 07/06 03:30
推 MK47: 好奇這麼笨的模型要用做啥?不甘脆用API嗎?36.235.197.109 07/06 04:48
推 TameFoxx: 小模型用dense的比較好182.233.84.193 07/06 04:53
→ TameFoxx: 但輸出速度就沒辦法快182.233.84.193 07/06 04:53
推 saito2190: 你RAM夠的情況下,本地跑用Gemma4 31B59.115.148.173 07/06 05:55
→ saito2190: 或Qwen 3.6 27B這種Dense模型智力跟Ag59.115.148.173 07/06 05:55
→ saito2190: ent性能方面都會比較好59.115.148.173 07/06 05:55
→ saito2190: 如果用途比較專一在推理或是寫Code,59.115.148.173 07/06 05:56
→ saito2190: 用llama cpp加隨便一個qwen 3.5被opus59.115.148.173 07/06 05:56
→ saito2190: 或fable微調過的版本都不錯59.115.148.173 07/06 05:56
→ iceyang: 小模型用來養馬61.224.176.135 07/06 06:22
推 GenShoku: 本地小MoE模型還是拿來聊天就好,真要幹123.192.94.227 07/06 06:25
→ GenShoku: 活,就算慢也是選dense模型穩123.192.94.227 07/06 06:25
推 YCL13: 也是建議由Gemma4 31B或Qwen3.6 27B二選一1.161.178.76 07/06 06:35
推 yenchieh1102: 電供抓大一點,未來再插一張卡(? 42.70.248.221 07/06 08:36
好 der,我改買 Leadex VII 1000W,存點錢再加一張
推 are2: 目前地端天花板就是qwen3.6 27b呀42.70.252.91 07/06 09:23
推 akimu: 真的用過api就會知道中國那幾個都是智障101.12.128.32 07/06 11:02
→ akimu: 跑分漂亮長期用下來就是鬼打牆101.12.128.32 07/06 11:03
→ akimu: 來不如直接用美國的 最後也不會比較貴101.12.128.32 07/06 11:03
推 ElrosHsun: 原本也是想本地跑後來還是用dsv4 flas194.114.136.219 07/06 11:26
→ ElrosHsun: h超便宜比電費還省194.114.136.219 07/06 11:26
推 takanasiyaya: 本地端顯卡玩qwen3.6 27B或Gemma4 349.216.106.151 07/06 11:37
→ takanasiyaya: 1B沒錯啊。當然你跟真正大模型比差49.216.106.151 07/06 11:37
→ takanasiyaya: 的還是太遠也是事實49.216.106.151 07/06 11:37
→ crimsonmoon9: 兩家的MoE都這麼不堪嗎?223.139.62.72 07/06 11:40
推 GenShoku: 以gemma4 26b a4b來說,他實際就只是知42.79.123.16 07/06 11:44
→ GenShoku: 識量較多比較聰明的4B模型而已,真的要42.79.123.16 07/06 11:44
→ GenShoku: 長鏈路推理、作業、寫文章,完全沒法跟42.79.123.16 07/06 11:44
→ GenShoku: 實打實的27b dense模型相比42.79.123.16 07/06 11:44
→ GenShoku: 目前單卡本地的天花板就是qwen3.6 27b,42.79.123.16 07/06 11:46
→ GenShoku: 找個破限跟opus蒸餾版,基本可以當一個42.79.123.16 07/06 11:46
→ GenShoku: 全能小模型42.79.123.16 07/06 11:46
推 yymeow: 我覺得寫文章還行,不過現下買32G的卡主要60.250.130.216 07/06 11:47
→ yymeow: 拿來跑圖比較香60.250.130.216 07/06 11:47
→ crimsonmoon9: 原來如此 測試的時候都只看前面跟測223.139.62.72 07/06 11:55
→ crimsonmoon9: TTFT而已沒注意到性能差這麼多223.139.62.72 07/06 11:55
推 a29022792: 26ba4b超爛 實際上幾乎處於不能用的程223.140.241.146 07/06 12:03
→ a29022792: 度223.140.241.146 07/06 12:03
→ a29022792: 我覺得他比gemini cli的mini?還差 而3.223.140.241.146 07/06 12:05
→ a29022792: 1flash就已經很難用了 處於幾乎不能信223.140.241.146 07/06 12:05
→ a29022792: 任的狀態223.140.241.146 07/06 12:05
推 GenShoku: Qwen3.6 27b > gemma4 31b > qwen3.6 3542.79.123.16 07/06 12:11
→ GenShoku: b a3b > gemma4 12b > gemma4 26b a4b42.79.123.16 07/06 12:11
推 Bustycat: 聊天倒是比Qwen有感情106.64.128.15 07/06 12:16
推 wei115: gemma 4還是有好處啦 他道德感超強,用解42.79.203.178 07/06 12:25
→ wei115: 鎖模型他還會非常激動的指正你,但又不得42.79.203.178 07/06 12:25
→ wei115: 不回答,非常有女騎士的感覺,Qwen就很無42.79.203.178 07/06 12:25
→ wei115: 聊,解鎖模型就跟沒有羞恥心似的42.79.203.178 07/06 12:25
推 xylophone135: Qwen3.5之後就冷冰冰了哪有感情 114.36.243.126 07/06 12:28
→ xylophone135: Gemma 4 26B A4B用在Agentic確實爛 114.36.243.126 07/06 12:30
→ xylophone135: Qwen3.6 35B A3B稍微好一點 114.36.243.126 07/06 12:30
→ xylophone135: 之後來試試Dense模型 114.36.243.126 07/06 12:30
推 lordmi: 目前20b 以下的MOE只適合檔案整理、簡單223.140.135.158 07/06 12:50
→ lordmi: shell、摘要、approval 。Agent loop 最223.140.135.158 07/06 12:50
→ lordmi: 低限度的智力的最下限目前還在Qwen3.6-27223.140.135.158 07/06 12:50
→ lordmi: B Gemma 4 31B,+ Q4/Q5 + 100K context223.140.135.158 07/06 12:50
→ lordmi: + 量化 KV加上其他配套至少要48的統一記223.140.135.158 07/06 12:50
→ lordmi: 憶體或者VRAM低於這個規格的機器就別想了223.140.135.158 07/06 12:50
推 setsuha: Gemma 4聽起來太澀了ㄅ 220.130.134.10 07/06 12:57
推 pphyy5844548: 請問這樣拿來評分英文短文的話,用 27.52.39.7 07/06 13:35
→ pphyy5844548: Qwen 27B可以跑嗎? 目前是5080+3 27.52.39.7 07/06 13:35
→ pphyy5844548: 2G RAM 27.52.39.7 07/06 13:35
推 GenShoku: Qwen3.6 27b Q4量化 + 128K上下文 + K Q 42.79.123.16 07/06 13:36
→ GenShoku: 8 + V Q4_1,應該是塞得進32G顯卡內啦, 42.79.123.16 07/06 13:36
→ GenShoku: 印象中 42.79.123.16 07/06 13:36
推 stlinman: Qwen 3.6 27B 好像跑的久但完成率可以拉150.116.129.113 07/06 13:36
→ stlinman: 高! 在意品質還是稠密模型會比MoE強啦。150.116.129.113 07/06 13:37
推 GenShoku: 評分文章的需求有點模糊,但摘要應該沒 42.79.123.16 07/06 13:45
→ GenShoku: 啥問題,本地小模型指令理解度沒有大廠 42.79.123.16 07/06 13:45
→ GenShoku: 線上模型好,需要明確的指令 42.79.123.16 07/06 13:45
※ 編輯: tacovirus (101.9.103.172 臺灣), 07/06/2026 13:53:58
推 giantwinter: 26B沒用阿 114.137.191.69 07/06 14:08
推 jhjhs33504: MoE伺服器友善強在多終端記憶體利用率 36.228.8.135 07/06 14:38
推 jhjhs33504: 缺點是帳面總參數不是實際活躍參數量 36.228.8.135 07/06 15:24
→ jhjhs33504: 就是用小部分參數當寫手 品質不如稠密 36.228.8.135 07/06 15:26
推 Supasizeit: 我看你們是沒玩過破防的gemma4203.204.195.174 07/06 17:41
推 pxhome: 你聽好了,你的目標是跑AI, 36.230.161.245 07/06 19:58
→ pxhome: 要以GPU優先,其他的CPU & DDR是第幾代的 36.230.161.245 07/06 19:58
→ pxhome: 通通都不是重點。 36.230.161.245 07/06 19:58
→ pxhome: 第一主機板一定要找有兩條PCIe X16插槽的 36.230.161.245 07/06 19:58
→ pxhome: ,VRAM是你的一切這很重要! 36.230.161.245 07/06 19:58
→ pxhome: GPU請直接拿買N卡, 至少遇到問題用GPT還 36.230.161.245 07/06 19:58
→ pxhome: 能快速幫你解決。 36.230.161.245 07/06 19:58
→ pxhome: N卡在雲端上的分支計畫資源最豐富,實裝 36.230.161.245 07/06 19:58
→ pxhome: 難度也最小,還有NVIDIA 提供的集裝箱,下 36.230.161.245 07/06 19:58
→ pxhome: 載及用,省下為了最佳化重新編譯的時間也 36.230.161.245 07/06 19:58
→ pxhome: 不用擔心安裝後搞亂系統,讓你把精力放在 36.230.161.245 07/06 19:58
→ pxhome: 產出的品質上。 36.230.161.245 07/06 19:58
→ pxhome: 驅動還是工具鏈穩定是必須的,在這個基礎 36.230.161.245 07/06 19:58
→ pxhome: 上你才能針對需求去切換效果更好的模型。 36.230.161.245 07/06 19:58
→ pxhome: 比如說無道德審查模型,量化版的A卡沒有幾 36.230.161.245 07/06 19:58
→ pxhome: 個能用。 36.230.161.245 07/06 19:58
→ pxhome: 最後別被I卡的VRAM給騙了,B70 32GB漲價 36.230.161.245 07/06 19:58
→ pxhome: 後的價錢都可以買兩張5060 Ti 16GB,實際 36.230.161.245 07/06 19:58
→ pxhome: 上就只是一張吃電290W的3060Ti,算力還不 36.230.161.245 07/06 19:58
→ pxhome: 如5050。 36.230.161.245 07/06 19:58
→ pxhome: 更別提5060Ti X2這個高CP值的組合,NVFP4 36.230.161.245 07/06 19:58
→ pxhome: 用對量化模型產出可以妣美4090,遇到只有F 36.230.161.245 07/06 19:58
→ pxhome: P8的老模型打開FlashAttention 3也可以追 36.230.161.245 07/06 19:58
→ pxhome: 平3090。 36.230.161.245 07/06 19:58
→ pxhome: DDR4 2133 ECC 16GBX4 (6千NTD有找) 36.230.161.245 07/06 19:58
→ pxhome: 5900XT & X570 WS ACE看看還能不能搞到手 36.230.161.245 07/06 19:58
→ pxhome: 。 36.230.161.245 07/06 19:58
→ pxhome: DDR3 1866四通道(頻寬接近D5 6K雙通道) 36.230.161.245 07/06 19:58
→ pxhome: 但是有些人無法接受洋垃圾,對於DRAM組建2 36.230.161.245 07/06 19:58
→ pxhome: 56GB的成本最低是事實啊! 36.230.161.245 07/06 19:58
→ pxhome: MoE模型相對於稠密模型來說,每次獲得到 36.230.161.245 07/06 20:03
→ pxhome: 的結果差異性很大 36.230.161.245 07/06 20:03
→ pxhome: 你將來一定會被B70單卡的推理速度慢到受 36.230.161.245 07/06 20:09
→ pxhome: 不了,再加一張B70讓算力達到9070XT單卡 36.230.161.245 07/06 20:09
→ pxhome: 的水平。 36.230.161.245 07/06 20:09