推 ksjr : 因為這新架構 google是不是又要重新設計TPU拉? 12/13 03:10
遙遙領先，狗家的硬體和計算架構和前沿論文研究，具有高度的一致性
互相加成，互相協同，full-stack優化
等到其他大廠醒悟過來，發現Nested learning才是正確方向
決定要放棄Transfomer時，狗家已經領先一年到一年半了
不信你丟給ai問，可以多問幾間互相比對
當然，要用正確的方式問才會得到正確的答案
你要先有足夠的背景知識才能識破關鍵點，問出最重要的問題
問問題的能力，大概就是新時代最重要的能力了XD
※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 03:16:47
噓 iecju520 : 我看你根本不懂AI吧... 12/13 03:22
推 rayray0410 : 看到這ID就先推 12/13 03:24
推 L1ON : 我在看openai倒數計時 12/13 03:27
推 ccneptunecc : 放棄transformer架構是否意味著需要更多GPU? 12/13 03:41
如果是以「當前同等能力模型」作為基準 答案是不會
因為Transformer+KV Cache是一種很低效的推論模型
低密度的無壓縮資訊儲存+重覆計算AttentionMap
導致超大量的能源浪費(算力和資料搬運成本兩者都是)
Nested Learning使用正確的層級特化結構的話 在推論期可以省下五到十倍的能源消耗
不過，架構優化和模型能力提升是兩步走的
在架構優化釋放出來的算力，最終會導致模型繼續依照Scaling Law擴大
所以結果是「省了十倍的能耗，那模型就能再大十倍」(這不是正確的數學，只是比喻)
算力需求永遠存在，因為文明的本質就是計算
※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 03:55:45
推 kuku951 : 需要更多GPU就需要更多記憶體… 12/13 03:55
需要從更細致的視角去切入
SRAM也是記憶元件 HBM也是 Host DRAM(LPDDR)也是
計算也一樣 tensor core是計算元件 systolic array也是計算元件
近存運算也是計算元件
所以「在哪裡計算，在哪裡儲存，如何搬運資料」從來就不是一個單一命題
一切都要從架構與系統級的視角下去拆解，才會根據需求得出一個答案
這也是為什麼邊緣層和雲端層會發展出不同的計算架構 因為需求不同
※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 03:59:39
推 ng101281 : 一根戳破泡沫的針來了 12/13 04:03
推 kuku951 : 感謝分享，這東西真的挺牛的，說不定這會是未來AGI 12/13 04:08
→ kuku951 : 的先驅，順便回覆樓上，如果這東西是真的搞得出來， 12/13 04:08
→ kuku951 : 那就是戳破那些說AI泡沫的人 12/13 04:08
推 roseritter : 硬體現實有餘裕的話，原本現在吹的天文級算力需求很 12/13 04:59
→ roseritter : 難蓋出來 12/13 04:59
→ roseritter : 改新玩法就能現實點 12/13 04:59
研究(Model Refinement)時代和擴增(Scaling)時代是輪流出現的
Ilya Sutskever最近有一篇訪談可以看看
正如他所說，接下來時代巨輪要轉回模型改進了
不過，等到模型改進得差不多，又會重啟擴增時代
這兩個時代的過度也是漸變的，不是一刀切
「文明的本質就是計算」
你如果看不懂這一大堆Big Tech誰會贏，那也沒差
買2330 永遠是對的
推 tigerzz3 : 好久沒看到mina大 預計何時開撿？還是保守看？ 12/13 05:07
感謝GOOG爆噴一波，現在YTD 90%了(真是出乎我意料..11月初時我本來已經躺平了)
https://i.imgur.com/NHJP572.png
不過我在11月底賣掉一部份GOOG撿了NVDA，作整體部位Rebalance
然後今天就吃了一根超~~~級大的，腳麻了，哭啊
推 shead1983 : 這篇好驚人，感謝高高手分享內容，讀完後的感想是 12/13 05:08
→ shead1983 : 美光全力衝刺HBM，是不是慘惹？ 12/13 05:08
嘻嘻 其實這篇只是我得到的洞察的一小角而已
真正重要的我沒說，不過這篇其實有很多引子
比方說在模型最深層(最慢層)，需要非歐幾何的雙曲空間語義空間
(提示: Transfomer的語義空間是平面的)
這在Nested Learning論文裡是完全沒提的，是另幾篇資訊幾何學的研究
推 aegis43210 : 現在的確是有AI泡沫，但目前要看是啤酒先裝滿或是泡 12/13 05:10
→ aegis43210 : 沫先消掉 12/13 05:10
→ aegis43210 : 不過邊緣運算中，未來NAND看起來會是最缺的 12/13 05:13
考慮一個五層結構，最淺兩層(L1~L2)在邊緣，三層(L3~L5)在雲端
你猜猜看L1需要多少參數量? 答案可能出乎你意料的小
完全不需要放在NAND
而且從最快層的「權重即時更新」需求來看，也不能可能放在NAND
推 tigerzz3 : 今天這種盤 狗家不到1%真的太扯 12/13 05:14
推 kuku951 : 衝刺HBM怎麼會慘… 這個做法還真有可能解決HBM的困 12/13 05:15
→ kuku951 : 境 然後HBM的優勢在於頻寬跟速度 一定是未來最需要 12/13 05:15
→ kuku951 : 的 12/13 05:15
HBM的頻寬和速度很重要 這敘述沒問題
不過HBM的總需求是容量(Capcity)決定的
猜猜看如果把最深層的語義空間從平面換成雙曲，參數量會變成多少?
有論文可以查的，查查看
※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 05:44:36
推 flyawayla : 花一整個早上快速掃完，看起來運算沒減少反而更多， 12/13 05:53
→ flyawayla : 不同頻率互相獨立，不獨立我猜就要用記憶體存參數， 12/13 05:53
→ flyawayla : 也沒有看到討論訓練速度，通常沒有就表示一定更花時 12/13 05:53
→ flyawayla : 間，心得是中立，畢竟都發一個月了，可以再等等看其 12/13 05:53
→ flyawayla : 他團隊有沒有跟上 12/13 05:53
我覺得你關注錯重點，HOPE架構的工程實作不是論文中最重要的部份
數學表達才是，這篇論文就算把HOPE架構整個去掉
純理論的部份就有相當於熱力學定律的價值
這代表一種更接近「知識、記憶、推理」的物理本質的理論
從而讓各大模型研究商能在巢狀學習的理論範式下，自由去探索各自的工程實現
類比於你有了熱力學定律之後，各種形式的熱機都有理論依據了
你看我前面對於未來模型的敘述(雲邊協同、不同語義空間的五層結構)
這和論文中簡化過的HOPE模型壓根就不是一回事對吧
因為HOPE模型的設計只是要作為論文的實證用途
而不是真正具備下一代模型的「工程可行性」&「商業可行性」的實作
至於下一代實作「可能會長什麼樣子」
那自然是不會在這裡解釋了...
反正即使我提了 99.99%的股板眾也是鴨子聽雷啊
推 waitrop : 當你看到論文的時候，早就有特定的TPU xpu 了 12/13 06:03
狗家員工內線消息
我要是真信了 你就是在內線交易囉!!!
就事論事 TPUv7沒有明顯針對Nested learning的痛點去優化
(當然也沒有明顯不能跑的理由，依然可以跑)
至於v8之後怎麼設計，現在也沒有公開消息
比起雲端，我覺得現在是邊緣的計算架構沒跟上Nested Learning的需求
推 Morphee : 先問一個問題 2017年 attention 出來之後 12/13 06:07
→ Morphee : 你是否從技術押注中賺超過幾個億? 如果沒有 12/13 06:08
有 嘻嘻
你再回去翻翻我2019年談AI革命的文章
當時也是一樣，完全沒有人看懂我說什麼
→ Morphee : 那 Nested Learning 也只是一個數據很普的實驗 12/13 06:09
※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 06:11:00
→ newwu : 想想這運用到大規模，多客戶的時候，這真的會讓記 12/13 06:21
→ newwu : 憶體減少嗎 12/13 06:21
→ newwu : *會讓記憶體使用量減少嗎？ 12/13 06:21
推 waitrop : 邊緣計算也會跟上nested learning ，也有相對應的T 12/13 06:26
→ waitrop : PU xpu 12/13 06:26
推 waitrop : 會讓記憶體用量增加，但是不是hbm ，不能再多說了 12/13 06:28
如果根據手機上最快層的即時更新需求去推導
很明顯是要SRAM，而且不能和L1 Cache共用
既然要能放進整個最快層的權重，即使以INT4/INT8高度壓縮，也需要很大一塊SRAM
考慮到除了慢權重(預訓練參數)之外還要放快權重(記憶狀態)
加一加要個2~4MB的獨立SRAM是跑不掉的
推 fisher6879 : 呱呱呱，數學不會背叛我，不會就是不會，不過AI推論 12/13 06:29
→ fisher6879 : 的HBM需求下滑結論還是看得懂的，感謝mina大分享， 12/13 06:29
→ fisher6879 : 天網是不是又加速啦？啾命Rrrr 12/13 06:29
真der 天網近了 悔改吧
推 googstar : 非goog的asic又要準備被輝達gpu揍爛了 改架構最能 12/13 06:31
→ googstar : 適應的就輝達 12/13 06:32
推 losage : 你應該要請open潤稿，g家唯一缺點就是不會說人話 12/13 06:33
我故意的 實際上Gemini Canvas寫小作文可以調長度
調越長它會試著擴寫 解釋的更清楚 但是我偏不 嘻嘻
說真的，看不懂的人，就把我整篇文字+NL的論文都餵給AI
然後再問AI就好啦，時代都是這樣了，要善用AI啊
推 steven853 : 所以結論是allin asic? 12/13 06:34
推 waitrop : 沒錯，gb300的Rubin 三小的就是為了解決memory wal 12/13 06:34
→ waitrop : l ，這問題業界都知道，但是願意改架構改算法的公 12/13 06:34
→ waitrop : 司，也就只有谷歌跟輝達 12/13 06:34
推 Ipluck : 回過頭看M大2019第一篇文真的是含金量十足 當時 12/13 06:36
→ Ipluck : 就看的這麼徹底真的厲害 12/13 06:36
一般來說我是看未來3~5年的，再遠的我也看不到了
所以2019那篇講的是2019~2024的AI革命
這篇講的是2025~2030「通往AGI之路」
推 bunjie : 先推在看 12/13 06:37
推 audic : 核心權重會隨互動漂移＝不可重現、不可審計、極易被 12/13 06:38
→ audic : 誤導，現實系統根本不敢上線，頂多停在論文 12/13 06:38
回到上述的五層系統
你完全可以把最深層的(物理定律、道德價值、信念)基底層
靜態權重完全鎖定不更新，來防止惡意注入
論文提示的是一種數學架構，你理解了整個數學架構的話
實務上你完全有各種工程實作的細節去彌合你的需求
當然我完全同意這種動態學習的系統，在正式上線前一定要經過嚴格的對齊測試
不過這不會構成「永遠不會有能夠動態學習的系統」的理由
推 tsubasawolfy: 這名字取得好…看到就大概知道他要幹嘛 12/13 06:42
推 ksjr : 有拉今天下午當薪水小偷時有問copilot 不過這個也發 12/13 06:44
推 elliotpepe : 先推一個，未來再回顧 12/13 06:44
→ ksjr : nested learning十一月初就發了 好像股價已反應? 12/13 06:45
推 Morphee : 雲端跟edge會重分配吧 為啥會亂飄 12/13 06:47
看你每一層的更新頻率怎麼設定
再以五層模型舉例的話
雲端的L3可能是event-driven更新、L4可能是每天更新一次
L5就如上述所說，最好是不要亂更新
推 googstar : 真的通往agi只會讓整個ai產業算力需求持續飆升? 12/13 06:53
→ googstar : 看來輝達真的太便宜 12/13 06:54
買2330 永遠正確
鐵打的Foundry，流水的Design House
推 guanting886 : 感謝分享 12/13 06:57
推 afflic : 2330有機會變成全球市值前三嗎 12/13 06:58
推 Morphee : AMD效率轉折受益者/Apple邊緣語義既得利益者 12/13 06:58
爽到Apple 躺平到最後天上掉餡餅 賽道重置
抱緊GOOG大腿就贏那些花了幾百億美金看別人車尾燈的
推 breathair : 我只後悔都看對了，轉倉太慢還一堆QQQ，XD不過至少 12/13 06:59
→ breathair : 早一步清掉TSM跟NVDA 12/13 06:59
推 tomtowin : 重點是SRAM，就是買2330，感謝分享 12/13 07:00
推 deltawai : 感謝 12/13 07:01
推 chives465 : 推M大，請問除了TSM，AVGO會建議買入嗎？ 12/13 07:04
推 Morphee : 想了一下 Hyperbolic若起來 NV還是比AMD有利 12/13 07:04
推 qwe78971 : 股票不講這個 所以短期內沒用 到時候早就換股了 12/13 07:06
→ Morphee : 看軟體是否續補topology-aware跟memory-flow API 12/13 07:08
不過，最深層語義改用雙曲，這可能是這篇文章裡最弱的推定
因為用現有的硬體算雙曲空間，那個運算量之驚人
光一個龐加萊距離就比歐幾里德距離高不止十倍運算量了
所以在專算雙曲的特化硬體內建之前
很有可能就是平面或球面加減用了
「切換深層語義空間」本質上就是「計算量 vs 記憶體容量/頻寬」的交換與權衡
雖然最終一定是會切到雙曲，但是這個改變要幾年發生，很難預估
快的話可能三五年，慢的話可能十年
推 billionerx10: 看來自研asic可能會是一條非常不明智的路 架構一改 12/13 07:16
→ billionerx10: 整個無用 12/13 07:16
推 hduek153 : 分享推 12/13 07:18
推 kottas : 好文 12/13 07:19
推 jay412210 : 我2330是最大贏家 12/13 07:24
推 abyssa1 : 要放SRAM 那就回到CCW 說的 產能遠遠不夠 12/13 07:28
邊緣需要大SRAM，雲端不需要
至於邊緣什麼時侯真正爆發
那當然是要等Nested Learning的動態學習模型成為主流才行
畢竟單層的Transfomer是不可能在邊緣裝置跑的
當然，如果說Nested Learning的最快層實際上跑Transformer，那是有可能的
不過在這種情況下，L1層跑Transfomer+滑動窗口KV Cache(模擬工作記憶)
比起直插一個固定大小的RNN作為工作記憶，並沒有特別的優勢
總之，要看到邊緣裝置爆發
大概會是2027~28之後的增長點了
推 GinginDenSha: 推，呆灣房子買起來，呆民財富持續噴射 12/13 07:30
推 littlelaba : 一句話 做多還做空啦 12/13 07:32
推 whyhsu : 好 12/13 07:35
推 suzuke : Nested Learning 推論即訓練聽起來很美好，但是你 12/13 07:39
→ suzuke : 要知道現在的推論只要做「前向傳播 (Forward Pass) 12/13 07:39
→ suzuke : 」，運算量相對小。Nested Learning在推論時，內部 12/13 07:39
→ suzuke : 還要做反向傳播 (Backward Pass)或梯度更新，每生 12/13 07:39
→ suzuke : 成一個字，計算量可能變成原本的 2-3 倍。再來訓練 12/13 07:39
→ suzuke : 穩定性極差，也還不能平行化，這些問題沒解決前， 12/13 07:39
→ suzuke : 它想要成為LLM的聖杯取代Transformers 還太早 12/13 07:39
你這屬於論文沒看清楚，或是直接丟AI叫它生答案的結果
再看清楚一點，HOPE架構的最快層有作反向傳播嗎??
在一個參數量很小、只處理簡單語義連結的最快層，直接一個DGD作掉了
要請AI讀論文，也要有足夠的背景知識，不然你根本不知道關鍵在哪
AI隨便說你隨便信
推 Morphee : 從Attention到ChatGPT也差不多五年 合理的時間尺度 12/13 07:40
推 gcarrot : 我也是11月底清了GOOG, 買入NVDA, 現在有點痛.. 12/13 07:45
都是ORCL的錯 救救NVDA 救救
推 Morphee : 樓上你講得也是我問的問題 2017年你看到Attention 12/13 07:45
→ Morphee : 樓樓上才對 也可以說出類似的論點 Attention要成為 12/13 07:45
推 Morphee : AI聖杯還早 NLP還不成熟等等 12/13 07:48
推 n555123 : 推 12/13 07:48
推 mamorui : 菇菇之前有提過，今年下半年正式進入聖杯終戰（我 12/13 07:51
→ mamorui : 個人預計三年時間） ，市場通常第二年上半場會開始 12/13 07:51
→ mamorui : 醞釀分勝負的前奏 12/13 07:51
推 aspirev3 : 邊緣裝置爆發 還跟七巨頭有關嗎 12/13 07:51
推 jimjim951357: 感謝分享 12/13 07:52
推 ejnfu : 所以要買哪支？ Google NVDA都已有了 12/13 07:52
噓 kkes0001 : 搞笑，革命性論文要多少有多少，重點是實作，trans 12/13 07:52
→ kkes0001 : former 到llm 中間隔多久你知道嗎 12/13 07:52
→ kkes0001 : 在這邊留個言當紀錄，幾個月後再來看看肯定還是原 12/13 07:52
→ kkes0001 : 樣 12/13 07:52
原文就跟你說三到五年的大趨勢了(攤手)
至於知道這樣的技術趨勢 要怎麼轉成短期的獲利
嘻嘻 不教你
推 overpolo : 真的感覺天網近了... 12/13 07:54
※ 編輯: minazukimaya (146.70.205.172 日本), 12/13/2025 07:56:27
推 timtdsas : 真股板女神推推 12/13 07:55
推 Morphee : Attention/Transformer上位速度算非常快了 12/13 07:56
→ Morphee : 但是還是對投資技術的慧眼要求很高 敢在2022年底前 12/13 07:58
