Re: [心得] AI需求是供應商精心設計好的套路

作者LDPC (Channel Coding)

看板Stock

標題Re: [心得] AI需求是供應商精心設計好的套路

時間Sun Mar 22 02:43:38 2026

大大你這樣講不太對啊記憶體和算力是等價互換拿個簡單說在訓練端你永遠可以用gradient accumulation 來降低記憶體訓練無法一次跑四個樣本那就一個個樣本跑記憶體需求降四倍 (算力->記憶體) 這就是你下面舉例子在inference端也是有記憶體和算力等價互換 KV Cache -> Token 概念就是事先把已經算過東西存好不用在算一次甚至智能也可以用算力->時間互換(Latency) LLM現在很多不強求一步解會採用類似思考鏈一步步拆解問題然後驗證 ( 對比人類心算一次算跟慢慢手動算) 那你上面兩個概念迭在一起少了第三個參數 "速度" 也就是Latency 這也是為何LLM這類模型在Inferece端有一個指標叫做token/sec 簡單說就是你硬體用低階跑但使用算力記憶體互換降低硬體需求你付出的就是速度 token/sec 原本一秒100 token 給妳這樣一搞一秒5 token 系統慢在消費端就是世界末日不過這邊的人喜歡用throughput這個字眼來橫量硬體在這方面表現這也是為何有些人覺可以SSD+CPU 來解鎖3090這類低VRAM GPU 但卻可跑100B模型比方因為你可以用花時間分切100B模型參數迭代是部分放入3090 然後每次計算再放回SSD + CPU 整合 (基本上就是群聯aiDAPTIV 套路) 這個就是鐵三角(算力記憶體速度) 上面犧牲掉的速度看看精美的aiDAPTIV銷售量在消費端速度慢就是垃圾這也是為何蘇媽的核心概念就是高速計算你可以看到蘇媽的佈局就是速度-> 硬體 -> 速度/成本幹死妳們不論是大AI前時代 (遊戲時代) 中期個人電腦或者現在AI時代蘇媽核心概念簡單 "快" 這造就整家公司企業沒有pivot (開會最怕聽這個關鍵字）公司整體策略佈局很合理小公司打死大公司最重要就是簡單但方向能長久一直執行下去然後現在軟體優化基本上可以叫AI去搞當初CUDA這些護城河有可能被x1000打破蘇媽一定有想過用AI軟體優化他自家RFCOM 增加迭代速度追上CUDA 畢竟現在我司自身看過工程師+AI Agent 單日產出x1000 我就覺我這輩子就這樣了(*1) 人類學常常用自家ai優化自己軟體左腳踩右腳迭代速度快所以算力小隊我就賭這兩家高品質硬體+自家生態系在衡量ai算力就是 (記憶體算力 Latency) 等價三角 /單位電力然後人類就是那個分母電池 -- *1 最近在我司又被震撼到一次有一次我把模型訓練完強者工程師deploy完但前端要變動很多才能接然後前端就踢皮球說要我們證明模型效能巴巴拉拉啊好處他才要去動通常在以前公司會兩個部門主管出來打架蓋章然後決定是我們這邊遷就他們還是他們照我們路線這種情形在大廠通常是tech lead會花一個禮拜打架決定結果強者工程師x1000 兩個小時就把前端寫完寫個demo 還寫了一個工具去把所有過去使用這數據爬蟲出來整理套用在我們場景(數據爬蟲這個等於是另外一個人工作) 模擬使用者expereicnce 然後證明我們這種模型搭配場景效果直接用證據說話然後前端工程師馬上嚇得說他會去做因為他意識到他的飯碗跟scope瞬間被強者工程師搶走再多說一句只會讓人覺他的能力不行在那剎那我突然意識到以前大廠互相鬼扯打架的誰遷就誰要證明哪個系統好在新創搭配ai agent情況下這些都沒意義一切就是比誰能把系統實作出來用結果說話以後就是這樣連跨部門吵架都不用tech lead 直接實作系統硬幹對方當一個人x1000 就是可以單純暴力胖揍同事 ※ 引述《teddy98 (泰迪!走吧!)》之銘言： : 我來說說，為甚麼說，AI需求是供應商精心設下的套路吧！ : 剛踏入AI的人 : 可能會覺得，AI的神經網路演算法(大規模平行矩陣運算)， : 好吃硬體資源啊，硬體規格的需求好大，幾乎看不到天花板。 : 所以，很多人會有＂AI算力需求是永無止盡的＂這種錯覺， : 但用久了開始熟悉AI之後，你會發現， : 其實AI龐大的硬體需求，是一種供應商精心鋪設好的套路 : 也是一種吹捧、誇大其辭的行銷手段。 : 為甚麼會這樣講？ : 第一，AI模型的節點不一定有經過優化（化繁為簡） : 拿軟體來比喻，一個source code寫很爛的軟體，沒有經過優化， : 如遞迴運算，消耗掉比正常高2~3倍以上的硬體資源。 : 會佔用大量的 GPU VRAM 和運算週期。 : 這時，你怪的不是AI模型爛，而是AI算力不夠？ : 第二，AI模型的運算流程可以分批次進行 : 一個步驟，可以切成4個子步驟進行，用For循環4次執行 : 如生成式繪圖，如果一張解析度非常大的圖像， : 切割成4個區塊，用For循環做4個批次處理，再用TTP圖像拼接/重組， : 將4個處理好的圖像做合併 : ＂可以大幅減少AI在運算時VRAM的占用量。＂ : 這部分算是AI行家才知道的機密，供應商絕對不會和消費者說。 : 因為要是讓你知道了，你就不會為了增大VRAM升級你的顯示卡或DRAM了。 : 前陣子，我在看GPU規格時，VRAM總是找不到16G以上的規格， : 現在回想，果真是中了NVIDIA的市場行銷套路。 : 因為，輝達，配備VRAM 24G以上的唯獨最頂級90系列的GPU才有， : 如: RTX 3090, RTX 4090, RTX 5090 : 現在回想，當時是差點中計了，浪費錢買RTX 5090是不必要的。 : 因為AI算法再怎麼吃資源，也是能透過優化和分批處理，來解決硬體配備不足的部分。 : 實測後，再高解析度的繪圖，12G的繪圖卡也能勝任。 : 也不需因為GPU記憶體的配置比較低而選用低精度的模型，fp16照樣可以跑得很順暢。 : 目前生成式AI的發展非常快，模型也漸趨成熟了， : 只要巧妙地設置好AI的流程，好像也說不上，需要多高階的硬體規格來跑AI模型。 : 而且現在的AI模型不斷推陳出新，新的AI模型的容量也越來越小。 : 占用的GPU資源也明顯下降。 : 大部分舊模型低配要24G VRAM才能跑的，新模型只要16G甚至12G VRAM就能完美運行。 : 不管是文字圖片精修，影像P圖，視訊P圖，設好對的節點，低配的GPU也能完美優化。 : 現在那些號稱＂專家＂或＂分析師＂的傢伙 : 對於AI的硬體需求越開越高，到達浮濫的地步， : 會有這種現象，很大程度上是供應商（輝達）精心設下的套路。 : 也是為了喊多股市的一種噱頭。 : 不過，很少用Photoshop是真的，AI模型很大程度上解決以往在影像修復上的難題。 : 圖片經過AI重新生成，容量也變小了 : （原圖722KB，修復後268KB，減少將近63%。) 計算: (722-268)/268*100%=62.88% : 試問各位的看法呢？怎麼看未來AI的硬體供貨需求？ : 記憶體族群的雜音最多，有人喊AI供貨短缺上看2030年 : 但Samsung開始跟客戶簽長約，有人說可能離市場飽和不遠了 : 以目前的記憶體類股的股價來看，是看多還是看空呢？ : ---- : 書脊，修復前 : https://ibb.co/1tzg824g : 書脊，修復後 : https://ibb.co/zWRrPqjr : AI生成 - 虎兔狗 : https://ibb.co/8n8MF5Kr : https://ibb.co/5hwkq4ZB : https://ibb.co/nN83j1XD -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.21.72.78 (美國) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1774118620.A.3D2.html ※ 編輯: LDPC (76.21.72.78 美國), 03/22/2026 02:46:18

推 a0808996 : 好日子要到頭了!!! 再繼續飛升就要回家吃自己 03/22 02:46

推 duriamon : 台灣就是代工思維不長進才一狗票人對AI的發展當井底 03/22 02:54

→ duriamon : 蛙，笑死！ 03/22 02:54

→ newwu : 原文很明顯沒有很懂 03/22 02:55

推 soome : 人類還能再上幾年班不被取代QQ 03/22 02:57

→ duriamon : 當一個東西疊代速度是按月算得，就該知道這東西絕對 03/22 02:57

→ duriamon : 不是用以前的概念去套，呵呵！ 03/22 02:57

※ 編輯: LDPC (76.21.72.78 美國), 03/22/2026 03:13:15

推 QQMMWA : 不上班是好事怎麼被某樓說成了壞事一樣 03/22 03:45

→ QQMMWA : 如果人類真的沒班可上 03/22 03:45

→ QQMMWA : 代表人類科技力和上帝一樣 03/22 03:45

→ QQMMWA : 已經有創造智慧體的能力了該開心 03/22 03:45

→ QQMMWA : 反而是現在的ai 離取代人類還遠的很 03/22 03:45

→ QQMMWA : 人類真的能創造agi 03/22 03:46

→ QQMMWA : 癌症等各種疾病早就被攻克了 03/22 03:46

→ QQMMWA : 各種疾病都準備被攻克 03/22 03:46

→ QQMMWA : ai搞到所有人類都沒班可上的程度 03/22 03:46

→ QQMMWA : 那人類才會幸福 03/22 03:46

推 ChikanDesu : 原文就自以為發現新大陸實際上前提根本錯又覺得大 03/22 04:22

→ ChikanDesu : 廠是低能花幾兆的人決策會比他差？ 03/22 04:22

推 sdbb : 謝謝 03/22 04:45

→ layer0930 : 你覺得工作很快的原因是因為 03/22 06:45

→ layer0930 : 目前ai解決簡單的問題很快 03/22 06:45

→ layer0930 : 實際上複雜的問題還是會拉的很久，且出錯問題很大 03/22 06:47

→ layer0930 : 另外目前ai 不是單純因為有了 cache 就能解幻覺跟 03/22 06:47

→ layer0930 : 速度， 03/22 06:47

→ layer0930 : 爬蟲跟一些畫面的撰寫如果不要求設計風格。靠ai 03/22 06:49

→ layer0930 : 快速幫忙當然ok 03/22 06:49

推 jack529 : 新創本就是跟時間對決，還那邊提皮球被取代剛好== 03/22 07:34

推 rereterry : 就…對技術一知半解的人很喜歡跳出來說話，本來就沒 03/22 08:20

→ rereterry : 有什麼都好，原本那篇就有人留言，那種說法根本當7 03/22 08:20

→ rereterry : 巨頭工程師都是白癡 03/22 08:20

→ layer0930 : 原本那篇不能說他全錯，因為模型的迭代跟優化的確 03/22 08:25

→ layer0930 : 可以省效能。 03/22 08:25

→ layer0930 : 另外如果把模型專業化而不去用通用模型硬體效能 03/22 08:25

→ layer0930 : 可以更下去 03/22 08:25

→ layer0930 : 所以才會出一大堆的模型來解各種問題，而不是通用 03/22 08:26

→ layer0930 : 模型全解 03/22 08:26

→ layer0930 : 現在ai好比當年 windows 95,但離到目前os 還差很遠 03/22 08:27

推 kurenaiz : 人類離當電池不遠了 03/22 08:28

→ layer0930 : 但如果用專業的模型可能還是有缺少的功能 03/22 08:29

→ layer0930 : 所以會在訓練 03/22 08:29

→ layer0930 : 或是可能從通用模型在提煉這樣 03/22 08:29

→ layer0930 : 另外資安跟模型更新都是問題 03/22 08:29

→ layer0930 : Ssr 的架構混合制，目前仍無法突破物理障礙 03/22 08:29

→ layer0930 : Ai是一個賠錢貨 03/22 08:30

→ layer0930 : 韓國有遊戲公司嘗試在做跟我類似的事情，但是他們 03/22 08:31

→ layer0930 : 也停工了 03/22 08:31

→ rxsmalllove : 先擔心五年後回家會不會吃自己 03/22 08:42

推 jerrychuang : 哇，那兩家？ 03/22 08:43

推 mdkn35 : 潘董不要再推aiDAPTIV了都沒人再訓練了 03/22 08:52

→ SILee : 我覺得你提到了很重要的一件事，再這樣發展下去，連 03/22 09:03

→ SILee : CUDA的生態系都不會再是非要不可的護城河了 03/22 09:03

→ SILee : 反正叫AI自己重建和驗證那些lib，也不用幾天。 03/22 09:04

推 VScode : 太狂惹，好日子要來了 03/22 09:16

→ layer0930 : Ai 的驗證跟人類（需求端）不一定一樣 03/22 09:22

→ layer0930 : 因為語意這件事很模糊 03/22 09:22

推 poeoe : 現在AI進步就是這麼快碼農的衝擊會很大 03/22 09:24

推 poeoe : 只能買好買滿AI股才能降低自身風險 03/22 09:26

推 Nitricacid : 現在真的與其灰半天不如自己來比較快...以前專職嘴 03/22 09:27

→ Nitricacid : 砲的反而比較危險 03/22 09:27

推 strlen : 這是真的最近就遇到也是合作對象前端在那邊番好啊 03/22 09:36

→ strlen : 你要番是吧？那我來做大概一個半小時就做完了 03/22 09:36

→ strlen : 跟前端說你不用忙了我弄好了他整個無言業主感覺也 03/22 09:37

→ strlen : 懂了什麼啊反正也不是我寫都codex和cc在寫 03/22 09:37

→ strlen : 其實工程師真的可以砍掉七八成沒問題了 03/22 09:38

推 devilsabre : 推 03/22 09:42

推 VScode : 前端真的是最快被取代的，後端至少還有領域知識 03/22 09:47

→ VScode : 當護城河 03/22 09:47

→ strlen : 沒有什麼護城河了不幹活自會有AI收懶人通通下去 03/22 09:57

→ strlen : 連開AI出來寫都懶你還是乖乖當電池 03/22 09:57

推 create8 : 我準備回鄉下種田了 QQ 幹 03/22 10:02

推 aspirev3 : 算力小隊 2330+goog嗎 03/22 10:30

推 coke7 : 阿彌陀佛幸好我不是碼農 03/22 10:33

推 hellomo : 推分享 03/22 11:36

推 cphe : 碼農真的是最危險的，尤其純軟 03/22 11:44

推 Dreamjonbe : 文組看不懂QQ 03/22 11:44

→ emind : 什麼模型效能要前端改變才能證明？ 03/22 12:19

推 zaqimon : AI什麼時候能直接幫我的銀行帳戶x1000 03/22 12:30

→ zaqimon : 我只需要銀行帳戶x1000這個簡單的功能就好 03/22 12:30

→ zaqimon : 其他的功能我都不需要 03/22 12:30

推 darkangel119: 直接說明用實力取代對手的能力 03/22 12:33

→ bndan : X1000 還要2小時代表原本要2000小時而且是強者同 03/22 12:58

→ bndan : 事..假設強者工時是一般人2.5倍就好你這個X1000號 03/22 12:59

→ bndan : 稱成立的意思就是原本的需要要一般工程師5000小時才 03/22 12:59

→ bndan : 能完成以台灣工時計算也就是 625個工作天的需求 == 03/22 13:00

→ bndan : 這還是計算全工時都在努力完成這需求..= = 03/22 13:01

→ bndan : X1000這種"號稱" 真能成真那AI工時效率公式早換了 03/22 13:01

→ bndan : 那時應該也不需要強者同事當算式基底了.. 03/22 13:02

→ bndan : 目前市面上的不敢說AI巔鋒應用但常態標準線拉在x4 03/22 13:03

→ bndan : ~x5 其實就差不多"一般"寫程式能加速的範圍了扣除 03/22 13:03

→ bndan : 掉人的問題還要再上去需要配合調整各種對應的流程 03/22 13:04

→ bndan : 用工業革命來比喻的話就是需要對應各產品準備客製 03/22 13:04

→ bndan : 化的生產流水線... 03/22 13:05

→ bndan : 換句話說別說X1000 出個X10的基本上使用範圍就會 03/22 13:06

→ bndan : 被縮小到特定需求或是行業了 03/22 13:06

就人數啊我以前在大廠訓練模型tech lead 率領五個人現在我一個人幹全部事情訓練模型就清洗data ->設計實驗-> eval結果->測試新設計現在我開三個agent 幫我幹這些事情然後週期又縮短比以前兩倍我自己就x10 這個數學式子隱藏意義就是裁員 twitter 7000-> 700是還沒有ai agent時代 meta現在是測試一個manager管50個人你去看人類學內部預測一個人可以抵一個團隊報告我合作對象deployment AI infra老兄他現在基本除了ML training辦不到其他都行了幹了前端後端 Datascientist UI PM 基本上一次開5~10個agent 像是langsmith/infra monitor 不過合理說 x1000的確我給他評價本身數字不正確正確數字大概介於x20 ~ x50 不過以前一個人幹全司不可能事情正在魔幻的發生因為agent tool不是只有codex/claude 他有前端後端 user testing 一堆現在連user 測試都叫ai測試取代低階QA 在接下來會有agent call agent 這種更跳躍式的前進更全面自動化反過來簡單一件事 amazon現職15萬人如果數學式子為真就是x10~x100是合理那意味者就是刪減10萬員工這也是為何ceo andy說他預測2030 我們只要很少量員工很快會計事務所 20人小公司會縮減到2~3人同理法律事務所現在在美國已經有這趨勢電影動畫各種產業當x10 x100出現就是人力縮減這就是這公式最大意義 ->裁員你去看現在已經很多財經公司使用claude套件報表人力需求都降低用人力堆上去的軟體護城河都不在有任何意義任何產業用人力成本推上去的時間護城河都沒意義這不是美國碼農懶不懶而是手寫code已經漸漸失去意義手寫文章手打報告手動處理資訊都失去了價值 ※ 編輯: LDPC (76.21.72.78 美國), 03/22/2026 13:28:59

→ sdbb : Handjob blowjob 機器人比不上真人 03/22 13:51

→ sdbb : 手工出嘴巴工作，機器人還是輸真人 03/22 13:52

推 zaqimon : 還是需要創造一堆職缺塞老人吧不然老人要幹麼 03/22 14:38

→ zaqimon : 老人薪資福利要高腦袋僵化體力不行只能當管理職 03/22 14:39

→ zaqimon : 還好AI無法取代只出一張嘴的肥貓老人 03/22 14:39

推 ProTrader : 樓樓上你想的太歪了那方面未來機器人應該也能達成 03/22 14:40

推 zaqimon : 所有的組織內部都一樣至少有一半的人是肥貓米蟲 03/22 14:41

→ zaqimon : 然後才來喊基層人力不足 03/22 14:42

→ zaqimon : 我猜以後警察消防掃地收垃圾開公車通通都是外勞吧 03/22 14:43

→ zaqimon : 短期內也看不出AI機器人有能力取代這些基層人力 03/22 14:43

→ zaqimon : 例如到區公所或銀行櫃台永遠塞滿人慢吞吞 03/22 14:45

→ zaqimon : 後面坐著一堆人不知道在幹麼 03/22 14:45