🔥 PTT.BEST 批踢踢爆文 💬 八卦 Gossiping 😊 希洽 C_Chat 💰 股票 Stock 🏠 房屋 home-sale 🏀 美國職籃 NBA ⚾ 棒球 Baseball 👛 省錢 Lifeismoney 🚗 汽車 car 😡 政黑 HatePolitics 💻 電蝦 PC_Shopping 🥰 韓星 KoreaStar ✨ 英雄聯盟 LoL 🍿 電影 movie 🪖 軍事 Military 📡 通訊 MobileComm 🏀 台籃 basketballTW 🍼 寶媽 BabyMother 🇯🇵 日旅 Japan_Travel 🏭 科技 Tech_Job 👉 男女 Boy-Girl 👉 真香 CheerGirlsTW 👧 女孩 WomenTalk 👻 媽佛 marvel 💳 卡版 creditcard 👉 NS NSwitch 👉 PS5 PlayStation 👉 大氣 TY_Research 👉 婚姻 marriage 👉 台南 Tainan 👉 台中 TaichungBun 👉 Steam Steam 👉 高雄 Kaohsiung 👉 羽球 Badminton 👉 超商 CVS 👉 米哈遊 miHoYo 👉 iOS 👉 兄弟 Elephants 👉 日劇 Japandrama 👉 玄幻 CFantasy 👉 ES e-shopping 👉 WOW 👉 遊戲交易 Gamesale 👉 4X BaseballXXXX 👉 Lakers 👉 韓劇 KoreaDrama 👉 汽車買賣 CarShop 👉 機車 biker 👉 新竹 Hsinchu 👉 美保 BeautySalon 👉 串流 OTT 👉 歐美影集 EAseries 👉 手機交易 mobilesales 👉 健身 MuscleBeach 👉 MacShop 👉 Lions 👉 FGO FATE_GO 👉 中劇 China-Drama 👉 數位貨幣 DigiCurrency 👉 暗黑 DIABLO 👉 實習教師 studyteacher 👉 航空 Aviation 👉 藝文票券轉售 Drama-Ticket 👉 韓綜 KR_Entertain 👉 美妝 MakeUp 👉 速食 fastfood 👉 手錶 watch 👉 體適能 FITNESS 👉 攝影 DSLR 👉 Headphone 👉 嘻哈 Hip-Hop 👉 轉珠 PuzzleDragon 👉 美食 Food 👉 蔚藍 BlueArchive 👉 數位相機交易 DC_SALE 👉 筆電蝦 nb-shopping 👉 軟工 Soft_Job 👉 汪踢 Wanted 👉 台綜 TW_Entertain 👉 坂道閒聊 SakaTalk 👉 貓咪 cat 👉 日GO BabyProducts 👉 TypeMoon 👉 MLB 👉 職場 Salary 👉 臺劇 TaiwanDrama 👉 海賊王 ONE_PIECE 👉 PMGO PokemonGO 👉 國營 Gov_owned 👉 碧航 AzurLane 👉 家電 E-appliance 👉 布蘭德 Brand 👉 DMMG DMM_GAMES 👉 贈送 give 👉 神魔 ToS 👉 銀行服務板 Bank_Service 👉 原創 YuanChuang 👉 期權 Option 👉 重機 SuperBike
※ [本文轉錄自 AI_Art 看板 #1fqY_Ppm ] 這篇算是純粹組裝心得文,拋磚引玉給大家參考, 目標鎖定跑中規模的開源模型,目前來說是Gemma4 26B-A4B,31B 、Qwen3.5 27B,35B-A3B 基本上,我認為GTX3090是唯一信仰,以前沒有以後也不會有這價位的24GB+ VRAM顯卡了, 至於Mac那條路我不熟,有熟的人可以另外補充,但PC架構還是有一定程度的擴充性。 先上組好圖 https://imgs.plurk.com/QHO/ESJ/LMCfqiXl7TN0oC1300Y2hCUHhFZ_lg.jpg
https://imgs.plurk.com/QHO/KlS/0f4g0RGTY5fJTcbIahpwkdQK9Qj_lg.jpg
以下是我實際用過的 單3090配置 CPU (中央處理器):i5-12400 MB (主機板):TUF GAMING B660-PLUS WIFI D4 RAM (記憶體):金士頓 64GB(32GB*2) DDR4-3200 VGA (顯示卡):ZOTAC RTX 3090 TRINITY 24G SSD (固態硬碟):Kingston金士頓 KC3000 1TB M.2 PSU (電源供應器):全漢 HYDRO G PRO 1000W/金牌/全模 CHASSIS (機殼):全漢 CMT370 後來有一度上到128GB記憶體,發現真的沒啥用, 這張單沒什麼特別的,現在照著張組一台二手的應該也沒什麼問題, 唯一的細節是僅適合單3090,要雙3090基本上大半台都要換掉,見以下 ------------ 雙3090配置 CPU (中央處理器):i5-12400 MB (主機板):MSI Z690 FORCE WIFI RAM (記憶體):威剛 64GB(32GB*2) DDR5-4800 VGA (顯示卡):ZOTAC RTX 3090 TRINITY 24G MSI RTX 3090 Suprim X SSD (固態硬碟):Kingston金士頓 KC3000 1TB M.2 PSU (電源供應器):振華 Leadex 1200W CHASSIS (機殼):Phanteks Enthoo Pro 2 Server Edition + 9 顆 TL-C12C-S 只留下了CPU、SSD、一張3090,沒了,對,就是這麼坑 因為雙3090跑LLM,LLM要能把模型拆給兩張跑需要能讓兩張PCIE直連8x/8x的主機板, 這個條件,基本上DDR4的主機板中沒有。 就連DDR5,也只有部分的690跟790有,同一系690有不代表790有, 不要問我為什麼我不知道,Claude的答案是後續的主機板會把槽留給硬碟? 是不是8x/8x 最快的判斷方式是看主機板是不是兩張顯卡槽都有顏色 舉例來說: 這張是(FORCE是CARBON的白色版) https://tw.msi.com/Motherboard/MPG-Z690-CARBON-WIFI 這張不是 https://tw.msi.com/Motherboard/MPG-Z790-CARBON-WIFI 我家AI列出LGA1700符合條件的顯卡如下: MSI MPG Z690 CARBON WiFi MSI MEG Z690 / Z790 ACE (MEG 旗艦級才有保留) MSI MEG Z690 UNIFY / UNIFY-X ASUS ProArt Z690 / Z790-CREATOR WiFi ASUS ROG Maximus 系列 (Z690/Z790 Hero, Extreme) Gigabyte Z690 / Z790 AERO D ASRock Z690 / Z790 Taichi AI可能會有幻覺請自行核對、其他腳位可能也要自己研究。 不過幫我組上電腦的資工系朋友說我照著AI開菜單組完幾乎沒買錯東西也是很厲害。 (有啦,Claude建議我買一個風扇Hub ,後來發現利民內建串接了算是個小失誤) 機殼方面,感謝得到來自這篇文的Zenryaku、ack0011以及其他板友的建議 https://www.ptt.cc/bbs/PC_Shopping/M.1773376727.A.FCF.html 最後是綜合Claude意見採用Phanteks Enthoo Pro 2 Server Edition 保證顯卡的呼吸空間,優點是整個機殼有15個風扇孔可以裝,吹好吹滿。 https://www.phanteks.com.tw/Enthoo-Pro2-Server.html https://images.plurk.com/rtYk5LSoncMUC6wnrUTR9.png
雖然我目前還是兩張3090疊羅漢,但我覺得應該可以考慮一張拉去旁邊站, 這個打算下禮拜再來處理,也請大家再建議一下直立方案 (右邊硬碟下方應該可以對吧,我沒那麼多硬碟) 大家會覺得有點痛的應該還是在漲價後的DRAM上, 全新的DDR4 32G一隻大概 6-8000、全新的DDR5 32G 都要上萬了, 最後我買二手的DDR5 32Gx2 花了15000,這部分也僅供參考。 至於未來會不會跌?我是說不準,但3090我看漲是肯定的。 三年前第一張3090我買19000,上個月第二張3090我買24000,現在價錢大家可以自己看看 目前規劃上來說,跑本地模型不是為了取代雲端模型。 是讓本地模型完成大量基礎、涉及機敏的工作,舉例來說: ‧大量 code review 初篩,只把複雜問題送給 Sonnet/Opus ‧機密文件問答,資料不出門 ‧多代理人架構的執行層,成本歸零 ‧24 小時批次推理,電費比 API 費用省 在本地跑 Qwen / Gemma,雲端留給真正需要判斷力的任務。 我認為 LLM Router 架構才是 2026 年 AI 工作流的核心建設。 Claude 很厲害,但我不會假設它永遠都在,掌握自己的動態算力, 這才是黃仁勳說的 Sovereign AI。 以上是不專業分享,歡迎指導,感謝。 -- AI_Art AI藝術/生成式AI板 歡迎各方前來討論生成式AI相關議題! ◆ 從 Human-in-the-Loop → Human-AI Symbiosis (人機共生) ◆ LinkedInhttps://www.linkedin.com/in/zaious/ GitHubhttps://github.com/Zaious ChronicleCore (Multi-Agent Ecosystem) 白皮書: https://github.com/Zaious/ChronicleCore-Architecture -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.27.184.211 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/AI_Art/M.1775382489.A.CF0.html ※ 編輯: ZMTL (114.27.184.211 臺灣), 04/05/2026 17:57:04 ※ 發信站: 批踢踢實業坊(ptt.cc) ※ 轉錄者: ZMTL (114.27.184.211 臺灣), 04/05/2026 17:57:19
ZMTL: 看過板規應該沒什麼冒犯的地方嗎...? 感謝 114.27.184.211 04/05 17:58
ZMTL: 電蝦板尤其是Zenryaku大在我幾次組電腦都給 114.27.184.211 04/05 17:58
ZMTL: 了相當詳盡的意見,希望把一點AI PC的範本 114.27.184.211 04/05 17:58
ZMTL: 轉來板上提供給未來有需要的人參考。 114.27.184.211 04/05 17:58
bobbyac01: 48G跑個30B上下估計只能Q4 也不知道你 1.169.228.66 04/05 18:01
bobbyac01: 有沒有建vLLM SGLang 離生產級好遠 1.169.228.66 04/05 18:01
Luciferspear: 先推再看 1.171.207.231 04/05 18:01
william456: 3090的背板太燙 114.42.243.63 04/05 18:02
jhjhs33504: 單機生產級多工養龍蝦最低IQ2_XXS起跳 36.228.11.93 04/05 18:07
jhjhs33504: 少數模型還有1bit量化技術 應該能更省 36.228.11.93 04/05 18:11
ZMTL: 雙3090能跑的模型不可能當龍蝦主腦啦 114.27.184.211 04/05 18:15
yenchieh1102: 推 101.10.0.87 04/05 18:15
ZMTL: 負責資料收集、文件翻譯、知識歸納都很有用 114.27.184.211 04/05 18:15
ZMTL: 上面這些工作讓Cluade來跑才真的浪費 114.27.184.211 04/05 18:16
kaj1983: 感謝分享配備,看來cpu不用買太好也能跑 218.166.17.234 04/05 18:21
Rollnmeow: 不知有沒有勇者嘗試雙ARC B70的 49.216.252.165 04/05 18:32
EBVirus: 想請問你的結論這幾個模型哪個比較好用 36.239.20.247 04/05 18:34
EBVirus: ? Gemma 4 31b還是qwen3.5 27b還是35b? 36.239.20.247 04/05 18:34
可以參考AI板文章 https://www.ptt.cc/bbs/AI_Art/M.1772731938.A.221.html https://www.ptt.cc/bbs/AI_Art/M.1775187123.A.6FB.html 快速結論: 要推理:雲端超級模型 eg.Opus 4.6 > GPT 5.4 > Gemini 3.1 Pro 地端苦工(翻譯、資料清洗):Defense 模型 Gemma4 31B、 Qwen3.5 27B 地端高效(聊天、問題警報):MoE 模型 Gemma4 26B-A4B、Qwen3.5 35B-A3B 中文需求:Qwen3.5 多模態任務:Gemma4
weiber82: 還是每個月花100美好了… 27.247.32.53 04/05 18:34
ZMTL: Gemma4我還沒事,我目前都跑Qwen 114.27.184.211 04/05 18:35
ZMTL: 然後Claude我每個月是訂200$,100$都不夠用 114.27.184.211 04/05 18:35
ZMTL: 不過Claude這幾天才嚴令用Oauth串訂閱養蝦 114.27.184.211 04/05 18:36
ZMTL: 你要養蝦還是要評估怎麼節流 114.27.184.211 04/05 18:36
saito2190: 兩張卡應該是vLLM para開2去跑了吧 1.161.179.230 04/05 18:38
saito2190: 都玩到這樣了總不會還在用ollama... 1.161.179.230 04/05 18:38
saito2190: 不知道Qwen3.5 Tool Call的Bug修好了 1.161.179.230 04/05 18:39
saito2190: 沒 1.161.179.230 04/05 18:39
誠實來說,我組完雙卡就回家過清明了,還在研究怎麼跑雙卡比較實際, 所以這篇基本上是提供硬體上的心得XD ※ 編輯: ZMTL (114.27.184.211 臺灣), 04/05/2026 18:53:06
YCL13: Qwen3.5雖然很強,但使用上真問題一堆 1.161.159.4 04/05 18:51
jhjhs33504: 量化模型要Q8_K或Q8_K_L問題會少很多 36.228.11.93 04/05 19:01
jhjhs33504: 居然還有少數Q8_K_XL量化模型品質更好 36.228.11.93 04/05 19:05
YukihanaLami: 推 我就是拉到旁邊站 兩張卡疊加放 118.168.254.20 04/05 19:10
YukihanaLami: 置不適合我這溫度敏感黨 118.168.254.20 04/05 19:10
YCL13: 如果接受拉到旁邊站...其實用拆分卡就好, 1.161.159.4 04/05 19:19
YCL13: 不過原PO本來的卡有點低階不確定是否支援 1.161.159.4 04/05 19:19
YCL13: 本來的MB 1.161.159.4 04/05 19:20
crimsonmoon9: 3090有沒有考慮上nvlink 42.77.204.245 04/05 19:20
ack0011: 其實X570比較容易找到符合的,或是多花 123.241.15.208 04/05 19:53
ack0011: 一點找個TR4 X399就能隨便插,還能用相 123.241.15.208 04/05 19:53
ack0011: 對便宜的16G湊到128G 123.241.15.208 04/05 19:53
ZMTL: 對了我要請教一下,直立架+延長線到底能不能 114.27.184.211 04/05 19:58
ZMTL: 保留x8啊,硬體我真的很不懂XDDD 114.27.184.211 04/05 19:58
himekami: X570 proart我記得有x8/x8 111.83.25.151 04/05 20:06
bobbyac01: 直立架跟延長線本身目標就是跑PCIe X1 1.169.228.66 04/05 20:24
bobbyac01: 6 1.169.228.66 04/05 20:24
bobbyac01: 你要跑x8不會有太大問題 1.169.228.66 04/05 20:24
bobbyac01: 但是需要小心訊號不穩 1.169.228.66 04/05 20:24
bobbyac01: 有擔心的話可以考慮SFF系列的轉接卡 1.169.228.66 04/05 20:24
autopass: 3090 也要缺貨了嗎? 140.109.40.73 04/05 20:28
fu1vu03: 如果只是翻譯功能這幾天玩Gemma 4 E4B感 125.229.5.91 04/05 20:30
fu1vu03: 覺比gemma 3 27B還好用 125.229.5.91 04/05 20:30
jhjhs33504: Gemma 4 E4B還支援音訊 Qwen3.5有台語 36.228.11.93 04/05 20:34
d0178411: 前幾天才看到有人雙3090延長線燒毀 樓主 111.71.212.155 04/05 20:36
d0178411: 要用好一點的延長線啊 111.71.212.155 04/05 20:36
hangtenboy: 看不懂還是給推 114.43.130.151 04/05 20:42
Rollnmeow: 原PO指的延長線是PCIE 我還沒聽過會燒 36.227.219.87 04/05 20:49
william456: https://i.ibb.co/HJ3LTcS/1.jpg 114.42.243.63 04/05 20:56
william456: https://i.ibb.co/r2zg0ZNP/1.jpg 114.42.243.63 04/05 20:56
william456: 有人燒過喔,不少個 114.42.243.63 04/05 20:57
ZMTL: 好用的延長線跟直立架有推薦嗎XD 114.27.184.211 04/05 20:59
jack2k: 以現在RAM/SSD金貴的程度,有這樣的需求, 114.45.25.190 04/05 21:01
jack2k: DGX Spark好像也不是不能考慮了? 114.45.25.190 04/05 21:01
Rollnmeow: 這有調查過原因嗎?我猜也是觸點問題 36.227.219.87 04/05 21:01
taobnug: 目前3090用oculink外接(pcie3.0x4)跑c 111.82.146.63 04/05 21:07
taobnug: omfyui和llm使用約一年,一切順暢。 111.82.146.63 04/05 21:07
william456: 沒去追蹤,不知道跟GN之前拍過的nz 114.42.243.63 04/05 21:43
william456: xt h1是不是同問題,但品牌都不同 114.42.243.63 04/05 21:43
Rollnmeow: 如果什麼牌子的線都有機會燒起來 36.227.219.87 04/05 21:50
Rollnmeow: 我看解法只剩在機殼裡放熱像儀了 36.227.219.87 04/05 21:50
lordmi: 我好奇nvlink在消費級系統裡面有多大幫助 36.229.66.36 04/05 22:33
lordmi: ,有機會跑一下比較w 36.229.66.36 04/05 22:33
ZMTL: 根據Claude的說法,有沒有Nvlink 跑LLM大概 101.8.89.246 04/05 22:39
ZMTL: 差10-15%,主要還是靠PCIE連通,但我不知道 101.8.89.246 04/05 22:39
ZMTL: 真的假的XD 101.8.89.246 04/05 22:39
Supasizeit: TP 跟NVLink好像可以一起上?203.204.195.174 04/05 23:05
Supasizeit: VLLM文件是寫可以203.204.195.174 04/05 23:06
ByPass128: 差30到50趴,之前看的實測 27.247.121.167 04/06 00:50
ByPass128: https://bit.ly/4e4jU9C 27.247.121.167 04/06 00:51
hsuallan: 翻譯可以試試translate-gemma 61.228.92.55 04/06 01:14
hsuallan: 自己本地跑起還行 看VT直播夠用了 61.228.92.55 04/06 01:15
qwe753951: 我之前是用Mac studio 放桌上不會吵 114.38.67.135 04/06 03:12
qwe753951: mac那邊比較簡單,有多少錢買多少ram, 114.38.67.135 04/06 03:17
qwe753951: 一台不夠買兩台 114.38.67.135 04/06 03:17
michael4210: 3090要搞nvlink的話橋接器非常難買也106.107.176.151 04/06 05:06
michael4210: 不便宜,當初我也是想這樣玩但後來發106.107.176.151 04/06 05:06
michael4210: 現成本太高,最後只用一張3090106.107.176.151 04/06 05:06
blueballer: 看來現在就是AI分流的時代了,高難度 223.137.135.24 04/06 07:20
blueballer: 工作給各家最強的AI,簡單、機敏的任 223.137.135.24 04/06 07:20
blueballer: 務交給本地模型,不然龍蝦token用量 223.137.135.24 04/06 07:21
blueballer: 太大了,不過想問原po任務分配給哪個 223.137.135.24 04/06 07:21
blueballer: 模型龍蝦能自己判斷嗎?還是下指令前 223.137.135.24 04/06 07:21
blueballer: 要註明? 223.137.135.24 04/06 07:21
uly: 推薦 https://sql-benchmark.nicklothian.com 112.71.133.53 04/06 07:59
uly: 這網站來測試你本地的模型 很好玩 看能否上23 112.71.133.53 04/06 08:00
uly: 我自己的判斷是 token gen>50/s sql分>21 112.71.133.53 04/06 08:10
uly: 才算是日常寫程式可用 112.71.133.53 04/06 08:10
uly: 我只有3080TI12GB 用Qwen35 35B也能到70/s 23 112.71.133.53 04/06 08:24
uly: 某些9B蒸餾版本有16分的跑在8G卡簡單task能用 112.71.133.53 04/06 08:28
meloxxl: 12G也能跑35b嗎 我問AI他說會卡成狗 建 123.192.184.46 04/06 11:57
meloxxl: 議要有24g以上樓上大大的35b模型有壓縮 123.192.184.46 04/06 11:57
meloxxl: 嗎 https://i.verb.tw/OltQnlyb.jpg 123.192.184.46 04/06 11:57
crimsonmoon9: Q4大概18GB Q3或Q2可能塞得下吧 42.77.204.245 04/06 12:04
crimsonmoon9: 日常使用可以選低參數量的 寫程式才 42.77.204.245 04/06 12:07
crimsonmoon9: 比較需要高參數量加上低精度 42.77.204.245 04/06 12:07
uly: Qwen3.5 35B A3B MOE架構12G可跑 27B卡成狗 112.71.133.53 04/06 12:41
uly: 12GB卡都會用Q4左右量化 112.71.133.53 04/06 12:42
necrophagist: Moe架構比dense快很多 即使檔案較 111.81.34.139 04/06 12:50
necrophagist: 大offload到ram的部分更多也一樣 111.81.34.139 04/06 12:50
necrophagist: 但dense模型真的就是比較聰明 111.81.34.139 04/06 12:51
YCL13: 簡單來說,多數的AI在回答問題時都沒把MOE 59.115.163.173 04/06 13:05
YCL13: 放在答案裡,才會說出offload就是慢這種話 59.115.163.173 04/06 13:05
YCL13: ,像記憶體和CPU沒影響說法也是這麼來的 59.115.163.173 04/06 13:05
crimsonmoon9: MoE通常都比較快啊 只是跟同量級模 42.77.204.245 04/06 13:07
crimsonmoon9: 型比active的參數比較少所以沒那麼 42.77.204.245 04/06 13:07
crimsonmoon9: 聰明 比較像知識廣但是不深 42.77.204.245 04/06 13:07
crimsonmoon9: 如果整個模型可以全塞進VRAM裡幾乎 42.77.204.245 04/06 13:08
crimsonmoon9: 可以說沒有影響是沒錯 42.77.204.245 04/06 13:08
YCL13: MOE換取速度的代價就是樓上說的聰明,不過 59.115.163.173 04/06 13:10
YCL13: 模型的能力一直在提升,我就覺得gemma4 26B 59.115.163.173 04/06 13:10
YCL13: A4B非常接近Qwen3.5 27B 59.115.163.173 04/06 13:10
Rightclick: 很想把Lab兩張3090組起來,但教授說沒 39.12.138.153 04/06 13:56
Rightclick: 有雙x16損耗太大拒絕了.. 39.12.138.153 04/06 13:56
crimsonmoon9: 找一台epyc就有一堆x16了(x 42.77.204.245 04/06 14:03
linlun0807: 我也在考慮這套組合 抑或是要衝6000pr 125.228.86.78 04/06 14:54
linlun0807: o 125.228.86.78 04/06 14:54
pxhome: 3090原生不支援FP8, 只能INT8或者FP16, 36.230.188.35 04/06 15:30
pxhome: 24GB只是好看而已 36.230.188.35 04/06 15:30
pxhome: 只有Hopper以後的TensorCore才支持FP8 36.230.188.35 04/06 15:33
pxhome: 首選4090的,或者24GB的MAC M4 36.230.188.35 04/06 15:34
pxhome: Intel ARC B60/B70算力太低不適合跑AI 36.230.188.35 04/06 15:36
pxhome: 30B量化至少要16GB,再往上70B首選是4090 36.230.188.35 04/06 15:37
pxhome: 24GB 36.230.188.35 04/06 15:37
pxhome: 會推MAC是因為GPU&CPU統一記憶體架構,24G 36.230.188.35 04/06 15:40
pxhome: B 250GB/s的頻寬相當於GDDR5 256Bit跑30B 36.230.188.35 04/06 15:40
pxhome: 還夠用 36.230.188.35 04/06 15:40
pxhome: MAC MINI M4 PRO 36.230.188.35 04/06 15:42
pxhome: gemma-4-31B-it 4Bit量化,VRAM佔用量, 36.230.188.35 04/06 15:50
pxhome: 最大19GB 36.230.188.35 04/06 15:50
pxhome: 如果你的口袋夠深可以拿64GB 36.230.188.35 04/06 15:52
pxhome: M4 MAX 536GB /s 相當於256Bit GDDR6 , 6 36.230.188.35 04/06 16:06
pxhome: 4GB跑 70B 4Bit量化很流暢,重點價格還比3 36.230.188.35 04/06 16:06
pxhome: 2GB的5090單卡便宜一些,也不用擔心那個 36.230.188.35 04/06 16:06
pxhome: 該死的12pin燒卡 36.230.188.35 04/06 16:06
pxhome: MAC Studio 36.230.188.35 04/06 16:07
pxhome: 如果模型有支援MLX, 比如說Gemma 3N, 36.230.188.35 04/06 16:14
pxhome: 可以改用Apple Silicon 16核心NPU來做數 36.230.188.35 04/06 16:14
pxhome: 學推論,作同樣的一件事性能提高了3倍,功 36.230.188.35 04/06 16:14
pxhome: 耗只有1/10,這是NV GPU的弱點 36.230.188.35 04/06 16:14
newyorker54: 剛剛測本地gemma 4 , score 21 36.237.178.163 04/06 16:20
newyorker54: http://i.imgur.com/rpGSuyC.jpg 36.237.178.163 04/06 16:20
jhjhs33504: 4Bit量化首選gpt-oss其他品質損耗太大 36.228.11.93 04/06 16:24
jhjhs33504: 模型回覆的品質體感難以單一指標評估 36.228.11.93 04/06 16:27
jhjhs33504: 跑分通常是快慢 很多模型問多容易跑題 36.228.11.93 04/06 16:30
scarbywind: 有測試影片說m5比m4快一倍 39.14.32.88 04/06 18:04
necrophagist: 發現前面推文圖的ai也太多幻覺了吧 111.81.34.139 04/06 18:13
necrophagist: 笑死xd qwen3.5 7b/14b根本不存在 111.81.34.139 04/06 18:13
necrophagist: 的模型 叫它更新確認網路資料再比 111.81.34.139 04/06 18:13
necrophagist: 啦 111.81.34.139 04/06 18:13
jhjhs33504: 可惜速度快的gpt-oss不具圖像辨識能力 36.228.11.93 04/06 18:26
newyorker54: 自己用qwen3.5-27b測score 23, 幹掉k 36.237.178.163 04/06 18:27
newyorker54: imi k2.5 , 對標qwen3.6 plus 36.237.178.163 04/06 18:27
newyorker54: 幹掉glm 5, 這是真的嗎? 36.237.178.163 04/06 18:27
newyorker54: 還比 gpt 5.4高我是不太相信這個數據 36.237.178.163 04/06 18:28
newyorker54: http://i.imgur.com/pXGWNBB.jpg 36.237.178.163 04/06 18:29
uly: 各個benchmark有其觀察面向SQL看的是tooling 112.71.133.53 04/06 21:12
uly: 比如說長上下文能力在這個SQL就看不出來 112.71.133.53 04/06 21:13
uly: Qwen3.5 27B可能在這種單SQL場景正確性高 112.71.133.53 04/06 21:17
Esvent: 最近剛好在玩 5090+3090(x4) 效果還不錯223.137.179.211 04/07 08:51
Esvent:223.137.179.211 04/07 08:51
Esvent: magnum 72b q4_k_ml 速度超快 品質還算可223.137.179.211 04/07 08:51
Esvent: 以223.137.179.211 04/07 08:51
Esvent: magnum 123b iq3_xxs 速度慢一些 但更聰223.137.179.211 04/07 08:51
Esvent: 明223.137.179.211 04/07 08:51
Esvent: 不過期間把OS搞壞幾次 後來發現是ddr5 e223.137.179.211 04/07 08:51
Esvent: xpo 還有主機板ai 超頻的問題 關掉就穩了223.137.179.211 04/07 08:51
w1222067: x8 x8 主機板 不少阿 36.233.68.24 04/07 10:30
ZMTL: 不確定是不是因為我不想換CPU,還是該連CPU 60.250.61.214 04/07 11:19
ZMTL: 都一起換掉 60.250.61.214 04/07 11:19
ZMTL: 1700腳位的真的少 60.250.61.214 04/07 11:19
yymeow: AM5或1851的x8/x8板子選擇就不少 60.250.130.216 04/07 11:58

💻 電蝦 PC_Shopping 版:熱門文章

💻 電蝦 PC_Shopping 版:更多文章