🔥 PTT.BEST 批踢踢爆文 💬 八卦 Gossiping 😊 希洽 C_Chat 💰 股票 Stock 🏠 房屋 home-sale 🏀 美國職籃 NBA ⚾ 棒球 Baseball 👛 省錢 Lifeismoney 🚗 汽車 car 😡 政黑 HatePolitics 💻 電蝦 PC_Shopping 🥰 韓星 KoreaStar ✨ 英雄聯盟 LoL 🍿 電影 movie 🪖 軍事 Military 📡 通訊 MobileComm 🏀 台籃 basketballTW 🍼 寶媽 BabyMother 🇯🇵 日旅 Japan_Travel 🏭 科技 Tech_Job 👉 男女 Boy-Girl 👉 真香 CheerGirlsTW 👧 女孩 WomenTalk 👻 媽佛 marvel 💳 卡版 creditcard 👉 NS NSwitch 👉 PS5 PlayStation 👉 大氣 TY_Research 👉 婚姻 marriage 👉 台南 Tainan 👉 台中 TaichungBun 👉 Steam Steam 👉 高雄 Kaohsiung 👉 羽球 Badminton 👉 超商 CVS 👉 米哈遊 miHoYo 👉 iOS 👉 兄弟 Elephants 👉 日劇 Japandrama 👉 玄幻 CFantasy 👉 ES e-shopping 👉 WOW 👉 遊戲交易 Gamesale 👉 4X BaseballXXXX 👉 Lakers 👉 韓劇 KoreaDrama 👉 汽車買賣 CarShop 👉 機車 biker 👉 新竹 Hsinchu 👉 美保 BeautySalon 👉 串流 OTT 👉 歐美影集 EAseries 👉 手機交易 mobilesales 👉 健身 MuscleBeach 👉 MacShop 👉 Lions 👉 FGO FATE_GO 👉 中劇 China-Drama 👉 數位貨幣 DigiCurrency 👉 暗黑 DIABLO 👉 實習教師 studyteacher 👉 航空 Aviation 👉 藝文票券轉售 Drama-Ticket 👉 韓綜 KR_Entertain 👉 美妝 MakeUp 👉 速食 fastfood 👉 手錶 watch 👉 體適能 FITNESS 👉 攝影 DSLR 👉 Headphone 👉 嘻哈 Hip-Hop 👉 轉珠 PuzzleDragon 👉 美食 Food 👉 蔚藍 BlueArchive 👉 數位相機交易 DC_SALE 👉 筆電蝦 nb-shopping 👉 軟工 Soft_Job 👉 汪踢 Wanted 👉 台綜 TW_Entertain 👉 坂道閒聊 SakaTalk 👉 貓咪 cat 👉 日GO BabyProducts 👉 TypeMoon 👉 MLB 👉 職場 Salary 👉 臺劇 TaiwanDrama 👉 海賊王 ONE_PIECE 👉 PMGO PokemonGO 👉 國營 Gov_owned 👉 碧航 AzurLane 👉 家電 E-appliance 👉 布蘭德 Brand 👉 DMMG DMM_GAMES 👉 贈送 give 👉 神魔 ToS 👉 銀行服務板 Bank_Service 👉 原創 YuanChuang 👉 期權 Option 👉 重機 SuperBike
※ 引述《Pixma258 (鄉民們!別爭了!!)》之銘言: : 乳題,為何記憶體可以瘋漲價成這樣 : 川狗一句話都不敢出來叫 : 但晶圓不行,漲價要漲的小心奕奕 : 川狗不時出來叫 : 如要論記憶體和晶圓,晶圓製造技術門檻更高 : 而且對AI基建晶圓重要性也絕對不會輸記憶體 : 有沒有記憶體可以隨便喊漲那麼高的毛利率 : 晶圓不行 : 股價更是晶圓瘋漲成這樣,晶圓卻被倒貨 : 實在看不懂,想請教一下大家 「HBM容量每GPU大概每年增長40%以上 這條需求曲線的陡峭程度,是DRAM供給端 14% 的晶圓產能增長, 乘以 9% 的密度提升,很難追上的 在硬體領域,因為解碼階段KV快取的極高頻寬 和極高記憶體容量的要求,也導致了HBM獨特的地位。即便是HBM漲價三五倍, 把錢花在HBM上帶來的邊際token產出提升,仍然比花在其他地方要划算的多。 其他幾個記憶體路線,SRAM,HBF,CXL,PIM, 目前都無法在HBM的主力賽道KV快取/解碼階段上正面競爭, 起碼未來5年甚至更長時間,不太可能找到替代路線」 https://x.com/fi56622380/status/2070029693810847988?s=20 //////////// 只要LLM還是當前自回歸生成(AR, Autoregressive Generation)工程範式, 每生成1個token都需要搬運KV快取計算上文每一個token和下文的注意力(Attention) 那記憶體問題就是供給側無解的問題, 因為LLM對記憶體頻寬擴展的需求會是 token生成長度二次方增長. 將token生成長度1M token -> 10M token, 記憶體頻寬需要擴展100倍 這遠遠高於現實世界工廠建設和製程優化的速度. 要解決該問題, 唯一的方法是從算法根本上去解決. 我很久之前就認為文本Diffusion模型很可能是下一代新工程範式 從流形假設的觀點看Diffusion的生成更穩定, 從工程實踐去看其生成更有效率 文本Diffusion模型可以一次性讀取KV快取就透過GPU迭代生成大量token 目前工程實踐可以做到一次生成256 token以上, 這表示KV快取搬運減少256倍 而未來顯然會更長. 這會把當前的記憶體受限問題重新拉回到GPU, 算力受限問題上 關鍵的轉折點會落在什麼時候上下文長度已經長到這個效益無法忽視 文本Diffusion模型, 隨著前陣子Google釋出開源DiffusionGemma, 使用起來差距 跟同參數量的AR模型已經在1~2個世代之內. 這表示文本Diffusion已經誇過研究階段 正式進入工程實踐和大規模部署可能. -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.73.134.246 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1782434524.A.DB0.html
danel801003 : 每個字都看得懂 組合起來就不懂 QQ 06/26 08:43
cliff9350814: 推 06/26 08:43
a282172002 : 到底為何要用晶晶體打文章 06/26 08:43
totoro7923 : CXL應該是次方案分流 06/26 08:44
cliff9350814: 回一樓 06/26 08:44
bole : 換回GPU,台積電可以學美光宣布漲價10倍嗎? 06/26 08:45
jason168 : 真的是隔行如隔山,完全看無... 06/26 08:47
charlietk3 : 這文英文快比中文多了 06/26 08:47
timTan : 這個很不晶晶體了吧。頂多memory 改記憶體 06/26 08:48
roots5071 : 同一樓 06/26 08:48
HiuAnOP : 最大的問題是記憶體沒長進 不像邏輯 06/26 08:48
kmtkmtkmt : 你這些Sentence比較difficult many版友read不懂 06/26 08:48
改一下, 有些詞不用英文真的不知道要怎麼寫
HiuAnOP : 導致只能以量取勝 06/26 08:49
shinewind : 這樣就晶晶體,要求太多了吧,專有名詞就很難用中 06/26 08:50
shinewind : 文好好表達,台灣人習慣直接用英文名詞吧 06/26 08:50
timTan : 頻寬需求應該沒有二次增長吧 06/26 08:51
ryryblue : 我覺得文不錯 吐槽的自己等級不夠 06/26 08:51
shin123000 : 我看完了但我不記得看了什麼 06/26 08:54
ppit : 現在科技進展這麼快,預測未來5年發展太難 06/26 08:54
lolicat : 我還以為走錯板 科普大神出現了嗎 06/26 08:54
timTan : Diffusion 在 Speculative Decoding,現在就可以用 06/26 08:55
HiuAnOP : 光看近十年邏輯電晶體密度大概就贏幾十倍 06/26 08:55
timTan : 每次有新的 Diffusion Model ,我也很興奮。 06/26 08:56
timTan : 但就像原文說的,因為差了一點點,所以應用就侷限 06/26 08:57
timTan : 了 06/26 08:57
offstage : 記憶體之所以隨便調漲毛利,是因為記憶體可以隨便 06/26 08:58
offstage : 調漲毛利。 06/26 08:58
Mikatuki : 基層邏輯沒改就是HBM效益海放任何其他方案,這麼強 06/26 08:58
v86861062 : 推推 06/26 09:01
ast2 : 講中文 06/26 09:01
dio0204 : 晶晶體在哪....第一線的技術文章本來就這樣 06/26 09:03
youga : 看完了但好像又沒看 06/26 09:03
dio0204 : 覺得晶晶體的 八成也不是原PO想一起討論的族群 06/26 09:04
Altair : 第一手資訊通常是英文的 中譯詞很難精準表達 06/26 09:05
tomdavis : KV cache搬運減少256倍 金融業會覺得記憶體要崩盤 06/26 09:05
Altair : 且未必有大家共識的中譯詞可用 06/26 09:05
Altair : 不習慣的就等二手資訊 但那時間就滯後了 06/26 09:07
herculus6502: 問就是數學 06/26 09:08
tomdavis : 只要有新聞是說加速 就會洗成硬體需求下降要跌 06/26 09:08
wvotyyj5 : Nand準備接手噴, 06/26 09:09
royhutw : 感謝分享 06/26 09:16
ke1030 : 推推 06/26 09:18
strlen : 看不懂的那這篇去問AI不就好了?提示詞就打:把文 06/26 09:19
strlen : 章改成連五歲小孩都看得懂 06/26 09:19
LDPC : 不是啊 提示詞應該是黃金獵犬都看得懂 電影有教 06/26 09:20
atpx : 一堆領域都是只能這樣混用吧,很多名詞根本沒有官 06/26 09:21
atpx : 方統一、自己掰一個別人也看不懂 06/26 09:21
b1izzard2000: 專業! 06/26 09:21
atpx : 黃金獵犬要看懂、那本篇文會變成一長串的吠叫聲吧 06/26 09:22
necrophagist: diffusion就目前多數生圖模型在用的 瓶頸是算力不 06/26 09:22
necrophagist: 是記憶體頻寬 06/26 09:22
Yoimiya : 有沒有懶人包 06/26 09:22
LDPC : @@上面電影影射高盛 老大都說用黃金獵犬聽得懂話講 06/26 09:23
inuwanwan : Hbm漲也會灌在台灣對美的出口額嗎 06/26 09:23
casper955033: 結論是 All in MU 哈哈哈 06/26 09:28
其實結論是All in GOOG, 因爲GOOG在AI的各層面都有深入. 如果今天工程範式真的改變, GOOG是最有能力掉頭的, 從人才培育, 模型理論, 針對新工程範式的ASIC晶片設計, AI infra建設維護, 資金實力. 總體實力都不是另外兩家LLM能比的 那如果不變呢? 那表示Google Cloud這下要賺爛了 怎樣Google都贏, 而且估值並不高
jackshadow : 哪裡晶晶體了 不是反串必定是文盲 06/26 09:29
fisher6879 : 算法沒更新前記憶體牆就是在那?是醬子的意思?算法 06/26 09:35
fisher6879 : 更新就是記憶體末路? 06/26 09:35
bunjie : 建議這篇先經過翻譯在打上來 提示詞就直接用推文的 06/26 09:35
bunjie : 內容 06/26 09:35
LDPC : 黃金獵犬會贏 除非你是貓派@@ 06/26 09:35
bunjie : 不然和複製貼上有87像 06/26 09:36
strlen : AI:改好了 文章在下方:汪汪汪汪汪汪汪汪汪汪汪汪 06/26 09:37
LDPC : 汪汪汪汪汪汪 喵 汪汪汪汪 06/26 09:38
flycarb : 記憶體是真的缺,但缺也代表算法革新的效益很高 06/26 09:40
strlen : 狗家等我記憶卡蛙賺完再來轉倉 那時應該更低了 嘻嘻 06/26 09:40
LDPC : 新算法到上路都要很久啊 看看SSM那號稱壓縮還是待解 06/26 09:41
LDPC : 從有人把bert證明等效single text diffusion step 06/26 09:42
LDPC : 到現在還是一堆 總之 汪汪汪汪汪 喵 汪汪 06/26 09:42
sdbb : 謝謝 06/26 09:43
flycarb : 推測,多次革新後導致堆記憶體加強AI表現趨緩才有解 06/26 09:43
LDPC : 奇怪你們都不是狗派嗎@@黃金獵犬這樣可愛 06/26 09:43
flycarb : 但真的還很久很久很久XDDD 06/26 09:43
bnn : 99 GOOG 06/26 09:44
ynanlin : 記憶體廠商當然是趁需求高坐地喊價大賺錢,但是現 06/26 09:45
ynanlin : 在Frontier models用錢堆參數推智能後,原本想笑著 06/26 09:45
ynanlin : 高價賣tokens給大量耗用算力的agentic AI換鈔票, 06/26 09:45
ynanlin : 但目前正被中國緊追在後的開放模型和充沛電能攔胡 06/26 09:45
ynanlin : ,特別是OpenAI的訂單可能在收入成長動能大轉向後 06/26 09:45
ynanlin : 有變化,目前還是多關注記憶體自以為可持續的抬價 06/26 09:45
ynanlin : 態度會如何受到現實反噬吧! 06/26 09:45
edgar76321 : 高級文推 06/26 09:48
LDPC : 汪汪汪汪 汪汪汪汪 06/26 09:51
CorkiN : CPU/GPU house都有在想辦法想設計要節省記憶體,但 06/26 09:52
CorkiN : 記憶體越多效能越好的底層邏輯不變的情況下,記憶 06/26 09:52
CorkiN : 體管你算法多強照樣缺 06/26 09:52
gwofeng : 嗯嗯跟我想的一樣 06/26 09:53
cchen : 太便宜不夠尊貴 06/26 09:55
mnmnooo : 就是炒作價格太高,毛利才嚇人 06/26 09:57
whyhsu : 好 06/26 10:02
AsahiDRY : 越多資料 越多記憶體 = 噴 這次不一樣 06/26 10:08
fatb : 就是武功再強 還是比手上的槍能多快 06/26 10:08
tomdavis : 節省記憶體 = 會被沒料新聞業跟金融業解讀成利空崩 06/26 10:11
jimmy1112111: 那篇tf的論文也是goog發的,所以技術深度我是相信 06/26 10:17
jimmy1112111: ,但他們技術領先這麼多,為什麼還是被oai和anthr 06/26 10:17
jimmy1112111: opic打爛? 06/26 10:17
waitrop : 你哪裡覺得被oai和anthropic打爛?網紅說的?新聞說? 06/26 10:19
waitrop : 除了coding某方面輸anthropic,其他哪裡有輸了? 06/26 10:20
waitrop : anthropic之前算力不足,大家沒看到,oai有問題沒看到 06/26 10:21
waitrop : 但是大家每天用放大鏡在看谷歌AI 06/26 10:21
waitrop : 就跟安卓哀鳳比較一樣,有信仰的會檢討自己 06/26 10:21
waitrop : 沒信仰的,就算沒問題也會質疑你 06/26 10:22
※ 編輯: maplefff (42.73.134.246 臺灣), 06/26/2026 10:24:12
sonicyang : 喊不懂的如果不是反串那我也是覺得蠻勇的 06/26 10:26
NTHUlagka : 推推 06/26 10:31
pponywong : open醬codex 5.5還蠻好用的 但是之前有新聞說人類學 06/26 10:40
pponywong : fable5花了38分鐘 就寫出windows NT kernel 06/26 10:40
pponywong : 再用opus 4.8 花了8天完成其他driver跟library 06/26 10:40
pponywong : 結果真的可以跑windows NT程式 06/26 10:41
pponywong : 以前上百名工程師好幾年寫的OS 一下就被AI做完了 06/26 10:41

💰 股票 Stock 版:熱門文章

💰 股票 Stock 版:更多文章