🔥 PTT.BEST 熱門專區 💬 八卦 Gossiping 😊 希洽 C_Chat 💰 股票 Stock 🏠 房屋 home-sale 🏀 美國職籃 NBA ⚾ 棒球 Baseball 👛 省錢 Lifeismoney 🚗 汽車 car 😡 政黑 HatePolitics 💻 電蝦 PC_Shopping 🥰 韓星 KoreaStar ✨ 英雄聯盟 LoL 🍿 電影 movie 🪖 軍事 Military 📡 通訊 MobileComm 🏀 台籃 basketballTW 🍼 寶媽 BabyMother 🇯🇵 日旅 Japan_Travel 🏭 科技 Tech_Job 👧 女孩 WomenTalk 👻 媽佛 marvel 💳 卡版 creditcard 👉 NS NSwitch 👉 PS5 PlayStation 👉 大氣 TY_Research 👉 婚姻 marriage 👉 台南 Tainan 👉 台中 TaichungBun 👉 Steam Steam 👉 高雄 Kaohsiung 👉 羽球 Badminton 👉 超商 CVS 👉 米哈遊 miHoYo 👉 iOS 👉 兄弟 Elephants 👉 日劇 Japandrama 👉 玄幻 CFantasy 👉 ES e-shopping 👉 WOW 👉 遊戲交易 Gamesale 👉 4X BaseballXXXX 👉 Lakers 👉 韓劇 KoreaDrama 👉 汽車買賣 CarShop 👉 機車 biker 👉 新竹 Hsinchu 👉 美保 BeautySalon 👉 串流 OTT 👉 歐美影集 EAseries 👉 手機交易 mobilesales 👉 健身 MuscleBeach 👉 MacShop 👉 Lions 👉 FGO FATE_GO 👉 中劇 China-Drama 👉 數位貨幣 DigiCurrency 👉 暗黑 DIABLO 👉 實習教師 studyteacher 👉 航空 Aviation 👉 藝文票券轉售 Drama-Ticket 👉 韓綜 KR_Entertain 👉 美妝 MakeUp 👉 速食 fastfood 👉 手錶 watch 👉 體適能 FITNESS 👉 攝影 DSLR 👉 Headphone 👉 嘻哈 Hip-Hop 👉 轉珠 PuzzleDragon 👉 美食 Food 👉 蔚藍 BlueArchive 👉 數位相機交易 DC_SALE 👉 筆電蝦 nb-shopping 👉 軟工 Soft_Job 👉 汪踢 Wanted 👉 台綜 TW_Entertain 👉 坂道閒聊 SakaTalk 👉 貓咪 cat 👉 日GO BabyProducts 👉 TypeMoon 👉 MLB 👉 職場 Salary 👉 臺劇 TaiwanDrama 👉 海賊王 ONE_PIECE 👉 PMGO PokemonGO 👉 國營 Gov_owned 👉 碧航 AzurLane 👉 家電 E-appliance 👉 布蘭德 Brand 👉 DMMG DMM_GAMES 👉 贈送 give 👉 神魔 ToS 👉 銀行服務板 Bank_Service 👉 原創 YuanChuang 👉 期權 Option 👉 重機 SuperBike
週末來閒聊美中AI晶片的故事, 這是我個人觀點也會加上我對未來十年的看法, 我盡量避免中美政治議題與辦公室政治學 先說結論, 這也是我當年面試高通SnapDragon Core team時, 最大的頭跟我說的話: 業界一直在重複循環相同的發展, 從大到小, 小再到大, 從單機到分散式處理, 再從分散式處理到單機 他當年在IBM做Mainframe, 同時期的競爭對手是SunMicro System, 當時的情況就跟現在AI比拼算力一模一樣, 大家都想盡辦法做出超級電腦, 結果他們團隊在離開IBM時的最後一個project, 是跟蘇大媽合作的cell process, 給遊戲機使用, 然後他們出來開公司做的是手機ARM CPU, 而同樣的對手從SunMicrso System離開也是開公司(PA Semi)做手機ARM CPU, 又很巧合的一家被高通收購, 另一家被蘋果收購, 他說他們無法想像同一個團隊做比一個房間還要大的超級電腦, 最後居然是做比一個指甲還要小的手機CPU 以下是我的看法, AI 晶片正在走過一模一樣的路, 現在處在堆算力的超級電腦階段, 之後一定會慢慢演變到EdgeAI, 模型也一定會從LLM 慢慢轉變成分散式處理的SLM, 我無法給確切時間, 但是我猜兩三年內會轉換成分散式處理的SLM, EdgeAI的應用應該在三到五年內會普及, 再多說就太底層的東西, 我自己也不是很懂, 反正你上網找SLM, LLM, EdgeAI 就能找到相對應的公司股票 接下來我用編年史的方式描述AI晶片的發展過程, 大概在2010年之前, 大部分的ML都還是靠CPU 運算比較多, GPU加速有, 但是幫助不大, 真正帶起這波AI浪潮的關鍵在2010年初期, 有人拿GPU 去跑類神經網路 (neural network), 把一個卡住四五十年的人類古老科技 (neural network), 用GPU 的算力重新定義, 也就是Deep Learning, AI 晶片突然火紅起來 在2010年初, 只有NVDA GPU能跑Deep Learning, 華為在那時候想開發類似的AI 晶片跑Deep Learning, 也就是昇騰的第一版, 同時間, 寒武紀把NPU AI晶片的想法實現在手機上, 谷歌那時候也看到Deep Learning的威力, 開始開發TPU 所以第一波AI晶片的領跑者是NVDA, 谷歌, 華為, 寒武紀大概落後NVDA一兩年, 不過同樣是第一梯隊 手機NPU的研發相對沒那麼困難, 所以隔不久, 很多公司也就跟著發表類似的手機NPU, 包含蘋果, 高通, 谷歌 (Tensor), 聯發科 (後來分出來成耐能科技), 這大概是2016年左右 但是server端的AI 晶片開發並不順利, 很多公司嘗試打入 server AI 晶片, 全都失敗, 這段時間, 2016-2022年, 只有NVDA 一家寡占, 其中有一些公司陸續開發一些ASIC, 像是阿里巴巴的含光, Amazon ASIC, 谷歌TPU, 但是"每年"一直持續開發演進的只有谷歌TPU, 原因是AI應用達到瓶頸了, Deep Learning 在影像處理跟語音辨識等等超強, 但是到了2022年, 這些應用已經到了極限, 能用到的都用了, 圖像分辨率可以高達99.99% (你逃不掉天網的), AI很像要冷卻下來了, 現有的ASIC 處理影像, 語音跟手機照相, 監視器等等已經足夠, 然後就迎來了AI二次革命, ChatGPT, 這個真的把業界打得措手不及, 谷歌是真的被殺的很慘, 尤其GPT這算法還是谷歌自己發明自己open source, 被別人拿自己的魔法來攻擊自己, 2022年之後, ChatGPT 帶來LLM的需求, 之前所有的設計全都不適用, 不能用在LLM, 不論是NPU, TPU, 含光, 昇騰全都不能用在LLM, 整個架構跟設計必須重做, 當然, 事情沒有真的那麼糟, 畢竟LLM (ChatGPT) 只是千萬種AI應用之一, 大部分的AI應用不用LLM的話, 舊有的ASIC跟架構還是能順順使用 只是2022年之後, LLM ChatGPT在風頭上, 但是當時全世界只有NVDA GPU能夠跑LLM, 業界必須重新設計架構來面對LLM, 這兩三年業界也的確研發出新的架構可以處理LLM, 包含博通, Alab, Mrvl, 谷歌TPU等等, 華為的解法是類似博通Alab的方式用網路堆算力, 阿里巴巴跟寒武紀的架構我就不熟了, 故事講完了 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.103.225.6 (美國) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1756685508.A.928.html
bnn : tapeout週期性發展 先做個大的把東西塞進去Demo功能 09/01 08:25
bnn : 然後再微縮化想辦法做小省錢提高die count 09/01 08:26
bnn : 做小後新的知識和layout成熟就繼續做大 堆數量提升 09/01 08:27
bnn : 達成更高單晶片算力 loop 09/01 08:27
sswgame : 推分享,學歷史 09/01 08:31
easyman : Edge 我賭riscv 09/01 08:33
totoro7923 : 商學組 有看沒有懂 淚) 09/01 08:38
davie11333 : 謝謝TQ王分享 09/01 08:43
sdbb : 謝謝 09/01 08:44
birdane32 : FPGA呢 09/01 08:46
stevenkuo : 厲害,六年級前端班生以上嗎 09/01 08:48
sdbb : 祝假期愉快 09/01 08:49
shead1983 : 好文值得推,感謝提供投資思維 09/01 08:51
meviswei : 嗯嗯對對跟我想的一樣 09/01 09:01
palapalanhu : 推 09/01 09:03
noddle : 感謝 09/01 09:17
roseritter : 推故事 09/01 09:20
dragonjj : 謝謝分享 現在似乎要專精於網路的迭算力 所以傳輸 09/01 09:33
dragonjj : 很重要 單個晶片就是拚不過輝達 要並聯了! 09/01 09:33
Destiny6 : 感謝分享,感覺LLM還要再變革架構才能更前進就是.. 09/01 09:35
Destiny6 : . 可能是用免費版CHATGPT吧,失憶還是滿嚴重的... 09/01 09:35
ActionII : 狗家兩邊都有成果,看影片感覺新披索的edgeai還不 09/01 09:43
ActionII : 錯 09/01 09:43
israelii : https://i.imgur.com/CBNWRvk.jpeg 09/01 09:44
ActionII : 重返榮耀? 09/01 09:44
israelii : 阿里巴巴開盤就大漲18% 有夠猛 但台灣要買很麻煩 09/01 09:45
israelii : 應該沒有什麼人吃到這一波 可惜 09/01 09:45
pantani : 美股baba啊 蒙格之前被套很慘 09/01 09:49
flyawayla : 感謝前輩分享,先推再享用 09/01 10:03
welkin0105 : 美股的巴巴上周五就十多趴了,敢追要心臟大顆 09/01 10:10
qw99992 : 買狗沒事 09/01 10:18
strlen : 他的手穿過我的巴巴 09/01 10:32
atpx : 推分享 09/01 10:47
andy7829 : 推講古 09/01 10:49
masala : 推AI講古!我猜gpt無法講得比這篇好 09/01 11:12
tkc7 : 好奇架構為何不能用在LLM? 不都是deep learning 09/01 11:12
原來的架構記憶體不夠大可以處理LLM 訓練, NVDA GPU 在那時候就已經可以串連(NVLink, NVSwitch)做LLM 訓練
rbelldandy : 卷起來棒 09/01 11:20
※ 編輯: waitrop (76.103.225.6 美國), 09/01/2025 12:04:45
lanslore : 推分享 09/01 12:04
※ 編輯: waitrop (76.103.225.6 美國), 09/01/2025 12:05:44
minazukimaya: 繪圖架構的天生優勢就是大通道高頻高容量記憶體囉 09/01 12:14
minazukimaya: 畢竟原本需求就要存大量的texture 09/01 12:14
minazukimaya: 我覺得下一波需求Server AI會從LLM往World Model走 09/01 12:17
minazukimaya: LM會下放到edge AI 但會往雲端調用高級需求(深度推 09/01 12:17
minazukimaya: 理之類) 09/01 12:17
minazukimaya: Edge需要更深度與Home和Glass之類的應用整合 09/01 12:18
hc23310 : 推一個 09/01 12:22
doitlasting : 好文推 09/01 13:32
doitlasting : 請問edge AI現在已經很成熟了不是嗎?例如車用、工 09/01 13:36
doitlasting : 廠自動化之類的,認為會有爆發性成長是指在更多領 09/01 13:36
doitlasting : 域? 09/01 13:36
minazukimaya: Edge AI永遠都有功耗和性能提昇的需求 因為哪些應用 09/01 13:41
minazukimaya: 和運算會下放到Edge是一個動態進化的過程 09/01 13:41
lawy : 推 09/01 13:42
doitlasting : 類似windows或iso 要一直update然後越來越吃硬體規 09/01 13:45
doitlasting : 格這樣? 09/01 13:45
minazukimaya: 是也不是 作業系統再怎麼升級功能都是作業系統 09/01 13:49
minazukimaya: Edge AI的硬體升級是整個AI社會架構層面運算力分配 09/01 13:50
minazukimaya: 規劃與能源效率尺度的問題 09/01 13:50

💰 股票 Stock 版:熱門文章

💰 股票 Stock 版:更多文章