🔥 PTT.BEST 批踢踢爆文 💬 八卦 Gossiping 😊 希洽 C_Chat 💰 股票 Stock 🏠 房屋 home-sale 🏀 美國職籃 NBA ⚾ 棒球 Baseball 👛 省錢 Lifeismoney 🚗 汽車 car 😡 政黑 HatePolitics 💻 電蝦 PC_Shopping 🥰 韓星 KoreaStar ✨ 英雄聯盟 LoL 🍿 電影 movie 🪖 軍事 Military 📡 通訊 MobileComm 🏀 台籃 basketballTW 🍼 寶媽 BabyMother 🇯🇵 日旅 Japan_Travel 🏭 科技 Tech_Job 👉 男女 Boy-Girl 👉 真香 CheerGirlsTW 👧 女孩 WomenTalk 👻 媽佛 marvel 💳 卡版 creditcard 👉 NS NSwitch 👉 PS5 PlayStation 👉 大氣 TY_Research 👉 婚姻 marriage 👉 台南 Tainan 👉 台中 TaichungBun 👉 Steam Steam 👉 高雄 Kaohsiung 👉 羽球 Badminton 👉 超商 CVS 👉 米哈遊 miHoYo 👉 iOS 👉 兄弟 Elephants 👉 日劇 Japandrama 👉 玄幻 CFantasy 👉 ES e-shopping 👉 WOW 👉 遊戲交易 Gamesale 👉 4X BaseballXXXX 👉 Lakers 👉 韓劇 KoreaDrama 👉 汽車買賣 CarShop 👉 機車 biker 👉 新竹 Hsinchu 👉 美保 BeautySalon 👉 串流 OTT 👉 歐美影集 EAseries 👉 手機交易 mobilesales 👉 健身 MuscleBeach 👉 MacShop 👉 Lions 👉 FGO FATE_GO 👉 中劇 China-Drama 👉 數位貨幣 DigiCurrency 👉 暗黑 DIABLO 👉 實習教師 studyteacher 👉 航空 Aviation 👉 藝文票券轉售 Drama-Ticket 👉 韓綜 KR_Entertain 👉 美妝 MakeUp 👉 速食 fastfood 👉 手錶 watch 👉 體適能 FITNESS 👉 攝影 DSLR 👉 Headphone 👉 嘻哈 Hip-Hop 👉 轉珠 PuzzleDragon 👉 美食 Food 👉 蔚藍 BlueArchive 👉 數位相機交易 DC_SALE 👉 筆電蝦 nb-shopping 👉 軟工 Soft_Job 👉 汪踢 Wanted 👉 台綜 TW_Entertain 👉 坂道閒聊 SakaTalk 👉 貓咪 cat 👉 日GO BabyProducts 👉 TypeMoon 👉 MLB 👉 職場 Salary 👉 臺劇 TaiwanDrama 👉 海賊王 ONE_PIECE 👉 PMGO PokemonGO 👉 國營 Gov_owned 👉 碧航 AzurLane 👉 家電 E-appliance 👉 布蘭德 Brand 👉 DMMG DMM_GAMES 👉 贈送 give 👉 神魔 ToS 👉 銀行服務板 Bank_Service 👉 原創 YuanChuang 👉 期權 Option 👉 重機 SuperBike
已買/未買/已付訂金(元):未買 預算/用途:40000 / Gemma 4 26B 推理 CPU (中央處理器):AMD Ryzen 5 9600X MB (主機板):Asus ProArt B850-Creator Wifi Neo RAM (記憶體):十詮 T-Create DDR5 6000 CL30 x2 VGA (顯示卡):(沿用) Intel Arc Pro B70 32G Cooler (散熱器):風魔3 SSD (固態硬碟):(沿用) HDD (硬碟): PSU (電源供應器):振華 Leadex III 850W 金牌/全模/主日 CHASSIS (機殼):聯力 Lancool 217 MONITOR (螢幕): Mouse/KB (鼠鍵): OS (作業系統):Ubuntu 其它 (自填): 總價 (未稅/含稅):35966 含稅 最近實驗 B70 推理, 編譯 llama.cpp SYCL 版本跑 Gemma 4 26B 速度很滿意 不過目前是用 eGPU 的方式跑, 想說乾脆組起來比較省事 這個搭配有沒有什麼需要改進的地方呢? -- 世界越快 心則慢 網路越慢 心則快 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 122.117.175.196 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1783273286.A.421.html
are2: MOE模型用啥跑都很快 但你接受這智商?118.150.170.141 07/06 02:11
are2: 長遠看別買I卡獨顯 N家入股後可能會被放生118.150.170.141 07/06 02:11
are2: 買張7900XTX生態跟速度都更好 還更便宜118.150.170.141 07/06 02:12
are2: 喔 看錯 原來卡有了 那剩下隨便118.150.170.141 07/06 02:14
Litfal: 我也好奇26B不嫌笨嗎?1.34.131.99 07/06 02:14
shane10222: 本地端有更好的?60.198.151.23 07/06 03:29
shane10222: 32GB有其他更好的選擇嗎?60.198.151.23 07/06 03:30
MK47: 好奇這麼笨的模型要用做啥?不甘脆用API嗎?36.235.197.109 07/06 04:48
TameFoxx: 小模型用dense的比較好182.233.84.193 07/06 04:53
TameFoxx: 但輸出速度就沒辦法快182.233.84.193 07/06 04:53
saito2190: 你RAM夠的情況下,本地跑用Gemma4 31B59.115.148.173 07/06 05:55
saito2190: 或Qwen 3.6 27B這種Dense模型智力跟Ag59.115.148.173 07/06 05:55
saito2190: ent性能方面都會比較好59.115.148.173 07/06 05:55
saito2190: 如果用途比較專一在推理或是寫Code,59.115.148.173 07/06 05:56
saito2190: 用llama cpp加隨便一個qwen 3.5被opus59.115.148.173 07/06 05:56
saito2190: 或fable微調過的版本都不錯59.115.148.173 07/06 05:56
iceyang: 小模型用來養馬61.224.176.135 07/06 06:22
GenShoku: 本地小MoE模型還是拿來聊天就好,真要幹123.192.94.227 07/06 06:25
GenShoku: 活,就算慢也是選dense模型穩123.192.94.227 07/06 06:25
YCL13: 也是建議由Gemma4 31B或Qwen3.6 27B二選一1.161.178.76 07/06 06:35
yenchieh1102: 電供抓大一點,未來再插一張卡(? 42.70.248.221 07/06 08:36 好 der,我改買 Leadex VII 1000W,存點錢再加一張
are2: 目前地端天花板就是qwen3.6 27b呀42.70.252.91 07/06 09:23
akimu: 真的用過api就會知道中國那幾個都是智障101.12.128.32 07/06 11:02
akimu: 跑分漂亮長期用下來就是鬼打牆101.12.128.32 07/06 11:03
akimu: 來不如直接用美國的 最後也不會比較貴101.12.128.32 07/06 11:03
ElrosHsun: 原本也是想本地跑後來還是用dsv4 flas194.114.136.219 07/06 11:26
ElrosHsun: h超便宜比電費還省194.114.136.219 07/06 11:26
takanasiyaya: 本地端顯卡玩qwen3.6 27B或Gemma4 349.216.106.151 07/06 11:37
takanasiyaya: 1B沒錯啊。當然你跟真正大模型比差49.216.106.151 07/06 11:37
takanasiyaya: 的還是太遠也是事實49.216.106.151 07/06 11:37
crimsonmoon9: 兩家的MoE都這麼不堪嗎?223.139.62.72 07/06 11:40
GenShoku: 以gemma4 26b a4b來說,他實際就只是知42.79.123.16 07/06 11:44
GenShoku: 識量較多比較聰明的4B模型而已,真的要42.79.123.16 07/06 11:44
GenShoku: 長鏈路推理、作業、寫文章,完全沒法跟42.79.123.16 07/06 11:44
GenShoku: 實打實的27b dense模型相比42.79.123.16 07/06 11:44
GenShoku: 目前單卡本地的天花板就是qwen3.6 27b,42.79.123.16 07/06 11:46
GenShoku: 找個破限跟opus蒸餾版,基本可以當一個42.79.123.16 07/06 11:46
GenShoku: 全能小模型42.79.123.16 07/06 11:46
yymeow: 我覺得寫文章還行,不過現下買32G的卡主要60.250.130.216 07/06 11:47
yymeow: 拿來跑圖比較香60.250.130.216 07/06 11:47
crimsonmoon9: 原來如此 測試的時候都只看前面跟測223.139.62.72 07/06 11:55
crimsonmoon9: TTFT而已沒注意到性能差這麼多223.139.62.72 07/06 11:55
a29022792: 26ba4b超爛 實際上幾乎處於不能用的程223.140.241.146 07/06 12:03
a29022792: 度223.140.241.146 07/06 12:03
a29022792: 我覺得他比gemini cli的mini?還差 而3.223.140.241.146 07/06 12:05
a29022792: 1flash就已經很難用了 處於幾乎不能信223.140.241.146 07/06 12:05
a29022792: 任的狀態223.140.241.146 07/06 12:05
GenShoku: Qwen3.6 27b > gemma4 31b > qwen3.6 3542.79.123.16 07/06 12:11
GenShoku: b a3b > gemma4 12b > gemma4 26b a4b42.79.123.16 07/06 12:11
Bustycat: 聊天倒是比Qwen有感情106.64.128.15 07/06 12:16
wei115: gemma 4還是有好處啦 他道德感超強,用解42.79.203.178 07/06 12:25
wei115: 鎖模型他還會非常激動的指正你,但又不得42.79.203.178 07/06 12:25
wei115: 不回答,非常有女騎士的感覺,Qwen就很無42.79.203.178 07/06 12:25
wei115: 聊,解鎖模型就跟沒有羞恥心似的42.79.203.178 07/06 12:25
xylophone135: Qwen3.5之後就冷冰冰了哪有感情 114.36.243.126 07/06 12:28
xylophone135: Gemma 4 26B A4B用在Agentic確實爛 114.36.243.126 07/06 12:30
xylophone135: Qwen3.6 35B A3B稍微好一點 114.36.243.126 07/06 12:30
xylophone135: 之後來試試Dense模型 114.36.243.126 07/06 12:30
lordmi: 目前20b 以下的MOE只適合檔案整理、簡單223.140.135.158 07/06 12:50
lordmi: shell、摘要、approval 。Agent loop 最223.140.135.158 07/06 12:50
lordmi: 低限度的智力的最下限目前還在Qwen3.6-27223.140.135.158 07/06 12:50
lordmi: B Gemma 4 31B,+ Q4/Q5 + 100K context223.140.135.158 07/06 12:50
lordmi: + 量化 KV加上其他配套至少要48的統一記223.140.135.158 07/06 12:50
lordmi: 憶體或者VRAM低於這個規格的機器就別想了223.140.135.158 07/06 12:50
setsuha: Gemma 4聽起來太澀了ㄅ 220.130.134.10 07/06 12:57
pphyy5844548: 請問這樣拿來評分英文短文的話,用 27.52.39.7 07/06 13:35
pphyy5844548: Qwen 27B可以跑嗎? 目前是5080+3 27.52.39.7 07/06 13:35
pphyy5844548: 2G RAM 27.52.39.7 07/06 13:35
GenShoku: Qwen3.6 27b Q4量化 + 128K上下文 + K Q 42.79.123.16 07/06 13:36
GenShoku: 8 + V Q4_1,應該是塞得進32G顯卡內啦, 42.79.123.16 07/06 13:36
GenShoku: 印象中 42.79.123.16 07/06 13:36
stlinman: Qwen 3.6 27B 好像跑的久但完成率可以拉150.116.129.113 07/06 13:36
stlinman: 高! 在意品質還是稠密模型會比MoE強啦。150.116.129.113 07/06 13:37
GenShoku: 評分文章的需求有點模糊,但摘要應該沒 42.79.123.16 07/06 13:45
GenShoku: 啥問題,本地小模型指令理解度沒有大廠 42.79.123.16 07/06 13:45
GenShoku: 線上模型好,需要明確的指令 42.79.123.16 07/06 13:45
※ 編輯: tacovirus (101.9.103.172 臺灣), 07/06/2026 13:53:58
giantwinter: 26B沒用阿 114.137.191.69 07/06 14:08
jhjhs33504: MoE伺服器友善強在多終端記憶體利用率 36.228.8.135 07/06 14:38
jhjhs33504: 缺點是帳面總參數不是實際活躍參數量 36.228.8.135 07/06 15:24
jhjhs33504: 就是用小部分參數當寫手 品質不如稠密 36.228.8.135 07/06 15:26
Supasizeit: 我看你們是沒玩過破防的gemma4203.204.195.174 07/06 17:41
pxhome: 你聽好了,你的目標是跑AI, 36.230.161.245 07/06 19:58
pxhome: 要以GPU優先,其他的CPU & DDR是第幾代的 36.230.161.245 07/06 19:58
pxhome: 通通都不是重點。 36.230.161.245 07/06 19:58
pxhome: 第一主機板一定要找有兩條PCIe X16插槽的 36.230.161.245 07/06 19:58
pxhome: ,VRAM是你的一切這很重要! 36.230.161.245 07/06 19:58
pxhome: GPU請直接拿買N卡, 至少遇到問題用GPT還 36.230.161.245 07/06 19:58
pxhome: 能快速幫你解決。 36.230.161.245 07/06 19:58
pxhome: N卡在雲端上的分支計畫資源最豐富,實裝 36.230.161.245 07/06 19:58
pxhome: 難度也最小,還有NVIDIA 提供的集裝箱,下 36.230.161.245 07/06 19:58
pxhome: 載及用,省下為了最佳化重新編譯的時間也 36.230.161.245 07/06 19:58
pxhome: 不用擔心安裝後搞亂系統,讓你把精力放在 36.230.161.245 07/06 19:58
pxhome: 產出的品質上。 36.230.161.245 07/06 19:58
pxhome: 驅動還是工具鏈穩定是必須的,在這個基礎 36.230.161.245 07/06 19:58
pxhome: 上你才能針對需求去切換效果更好的模型。 36.230.161.245 07/06 19:58
pxhome: 比如說無道德審查模型,量化版的A卡沒有幾 36.230.161.245 07/06 19:58
pxhome: 個能用。 36.230.161.245 07/06 19:58
pxhome: 最後別被I卡的VRAM給騙了,B70 32GB漲價 36.230.161.245 07/06 19:58
pxhome: 後的價錢都可以買兩張5060 Ti 16GB,實際 36.230.161.245 07/06 19:58
pxhome: 上就只是一張吃電290W的3060Ti,算力還不 36.230.161.245 07/06 19:58
pxhome: 如5050。 36.230.161.245 07/06 19:58
pxhome: 更別提5060Ti X2這個高CP值的組合,NVFP4 36.230.161.245 07/06 19:58
pxhome: 用對量化模型產出可以妣美4090,遇到只有F 36.230.161.245 07/06 19:58
pxhome: P8的老模型打開FlashAttention 3也可以追 36.230.161.245 07/06 19:58
pxhome: 平3090。 36.230.161.245 07/06 19:58
pxhome: DDR4 2133 ECC 16GBX4 (6千NTD有找) 36.230.161.245 07/06 19:58
pxhome: 5900XT & X570 WS ACE看看還能不能搞到手 36.230.161.245 07/06 19:58
pxhome: 。 36.230.161.245 07/06 19:58
pxhome: DDR3 1866四通道(頻寬接近D5 6K雙通道) 36.230.161.245 07/06 19:58
pxhome: 但是有些人無法接受洋垃圾,對於DRAM組建2 36.230.161.245 07/06 19:58
pxhome: 56GB的成本最低是事實啊! 36.230.161.245 07/06 19:58
pxhome: MoE模型相對於稠密模型來說,每次獲得到 36.230.161.245 07/06 20:03
pxhome: 的結果差異性很大 36.230.161.245 07/06 20:03
pxhome: 你將來一定會被B70單卡的推理速度慢到受 36.230.161.245 07/06 20:09
pxhome: 不了,再加一張B70讓算力達到9070XT單卡 36.230.161.245 07/06 20:09
pxhome: 的水平。 36.230.161.245 07/06 20:09

💻 電蝦 PC_Shopping 版:熱門文章

💻 電蝦 PC_Shopping 版:更多文章