推 mqhung: 好,要上128G可以少花一點錢了 114.34.228.170 03/26 21:10
推 UniversalGod: 爽啊~~~記憶體廠跌死你 101.10.251.115 03/26 21:15
推 pphyy5844548: 我覺得企業會賣更多… 123.252.75.84 03/26 21:15
推 lc85301: 減少 6 倍那不就能跑 6 倍大的模型了嗎 36.231.102.42 03/26 21:16
推 kaj1983: 壓縮後可以裝的更多了 218.166.17.80 03/26 21:16
推 saiboos: 記憶卡蛙... 219.71.144.68 03/26 21:17
推 davidex: 不可能 絕對不可能 36.230.8.61 03/26 21:17
推 whizz: 爽啦 記憶體本來就應該便宜 61.223.6.35 03/26 21:17
推 leviva: google竟然能間接拯救消費市場?220.129.138.108 03/26 21:19
推 MK47: 真假 估狗有這麼猛喔 111.83.69.136 03/26 21:22
推 superRKO: 減少6倍不就代表可以裝更多了嗎?220.135.222.131 03/26 21:22
→ knight72728: google我的神,推動地球進步的英雄125.230.216.168 03/26 21:27
→ a27588679: 哇靠 大場面來了 180.177.33.135 03/26 21:29
推 shokotan: 爛美光可以重新開賣記憶體了嗎 = = 111.250.128.86 03/26 21:32
推 UniversalGod: 的跌死你!!! 101.10.251.115 03/26 21:34
推 CJhang: 可以花六倍 一樣漲 101.12.86.7 03/26 21:34
→ brianuser: 語言模型受惠,那影片那些呢 218.164.20.35 03/26 21:35
→ sss870192: 威剛 美光 三星 :幹 114.36.121.77 03/26 21:36
推 UniversalGod: 多跌一些www 101.10.251.115 03/26 21:40
推 wind183: 壓縮技術是拿來跑更大的模型不是拿來降 101.14.4.0 03/26 21:41
→ wind183: 價用的 101.14.4.0 03/26 21:41
推 aa1477888: 顆粒廠有什麼好幹的 又沒擴廠根本不虧 218.35.220.53 03/26 21:42
推 oopFoo: 這個東西主要是vector search,影響有限 58.114.66.74 03/26 21:43
推 bill6613: 能壓縮更多不代表可以裝更多,代表AI基 211.20.112.29 03/26 21:46
→ bill6613: 建更激烈不是 211.20.112.29 03/26 21:46
推 kuninaka: 只會越用越多而已 36.239.82.97 03/26 21:48
→ kuninaka: 因為我要看雪山狐狸 36.239.82.97 03/26 21:48
推 pita30: 應該是覺得能跑更大模型而不是少買記憶體 219.69.115.71 03/26 21:49
→ pita30: 吧 219.69.115.71 03/26 21:49
推 vin312789: 誰跟你說這樣就不會漲了 27.240.40.251 03/26 21:49
推 baddaddy: 記憶體需求會更多,以前做不到的事,現 36.231.180.62 03/26 21:50
→ baddaddy: 在ai能做到更多事,用量會變更大 36.231.180.62 03/26 21:50
→ baddaddy: 傻傻地 36.231.180.62 03/26 21:50
推 XiaoLi: 壓縮六倍=會用更多的資料訓練 114.34.216.177 03/26 21:52
→ XiaoLi: 根本不會減少記憶體需求吧 114.34.216.177 03/26 21:52
推 ctes940008: 好哦,變六倍效能喔,繼續軍備競賽。 36.237.110.244 03/26 21:52
→ ctes940008: 一樣是有多少包多少 36.237.110.244 03/26 21:52
推 sm981512: 爽啊 36.239.79.205 03/26 21:54
推 w1222067: 這不是昨天就在說嗎 61.224.23.191 03/26 22:07
→ w1222067: 感覺 壓根不影響 漲價XD 61.224.23.191 03/26 22:07
推 foolwind: 減少6倍不就代表價錢還能再漲6倍以上 123.192.162.54 03/26 22:08
推 kjm1104: 兩個字 不可能 223.138.20.105 03/26 22:08
推 ltytw: 能壓縮之後 只會越來越貪婪吧? 36.234.206.177 03/26 22:09
推 d0178411: 還我1T1000 32G3000 111.71.213.96 03/26 22:11
→ taruru: 有人只是上PTT跟看水管還是插滿128G 61.224.178.213 03/26 22:17
推 YCL13: 對有用AI的人而言,這是讓RAM更值錢,舉例 59.115.138.195 03/26 22:17
→ taruru: 記憶體沒在嫌多的 61.224.178.213 03/26 22:17
→ YCL13: 來說現在大家都覺得64X4要價10萬太貴,但能 59.115.138.195 03/26 22:17
→ YCL13: 壓縮6倍等於256G DRAM可以offload 1T等級的 59.115.138.195 03/26 22:17
→ YCL13: LLM,那10萬就會突然變不貴,讓跑AI的更瘋 59.115.138.195 03/26 22:17
→ YCL13: 狂去搶RAM 59.115.138.195 03/26 22:17
推 x21999125x: 剛才看locallama subreddit又多了一 110.30.8.197 03/26 22:25
→ x21999125x: 個rotorquant,這個月的LLM發展超多 110.30.8.197 03/26 22:25
推 ejru65m4: 壓縮六倍記憶體 八倍的效能223.136.112.129 03/26 22:27
推 a45351: 如果是真的,價格至少還要翻3倍 101.8.232.36 03/26 22:28
→ ejru65m4: 除了三星 好像都有擴廠的風聲223.136.112.129 03/26 22:29
→ Akabane: 沒錯 壓縮六倍只是讓他算多六倍XD 114.35.99.248 03/26 22:30
→ ejru65m4: 等過半年 看看哪個是預言家223.136.112.129 03/26 22:30
→ KY1998: 需求還是很多,不然狐狸醬板鴨怎來的 114.24.142.62 03/26 22:30
→ ejru65m4: 明天倒是可以先看看市場信心223.136.112.129 03/26 22:31
→ ejru65m4: 看看漲三倍還六倍223.136.112.129 03/26 22:32
→ a740125: 能壓縮也代表可以用的更爽阿 1.172.84.50 03/26 22:37
推 violetish: 讓子彈飛一會兒吧 別先爽 各零件普遍漲 114.35.247.1 03/26 22:41
推 HiJimmy: 我覺得是幫i和a賣cpu,gpu主算力,cpu 36.235.157.130 03/26 22:45
→ HiJimmy: 當小助手,分配、壓縮和解壓,就是cpu也 36.235.157.130 03/26 22:45
→ HiJimmy: 要越配越高,ram就不會降,卡到是一直加 36.235.157.130 03/26 22:45
推 liaox: 我是覺得短時間內不可能跌啦 1.161.30.47 03/26 22:46
推 aegis43210: 又不是每個模型都可以支援,而且現在 106.104.70.5 03/26 22:50
→ aegis43210: 記憶體需求主要在西台灣,google不給 106.104.70.5 03/26 22:50
→ aegis43210: 西台灣用的話,影響就很小 106.104.70.5 03/26 22:50
推 kant1123: 能壓縮就能裝更多阿 1.173.176.60 03/26 22:51
推 littledrop: 就像寒武紀大爆發 一旦發展就會加速 150.117.221.17 03/26 22:52
→ littledrop: 更快的網路、更快的運算、更快的儲存 150.117.221.17 03/26 22:53
→ littledrop: 對於AI的需求 當然是更大模型跟運算 150.117.221.17 03/26 22:54
推 ejru65m4: 是啊 更大更多 現在就算全記憶體擴產六223.136.112.129 03/26 22:56
→ ejru65m4: 倍也吃得下223.136.112.129 03/26 22:56
→ ejru65m4: 換算法降需求不過是另一種擴產六倍而已223.136.112.129 03/26 22:57
→ star99: 這個模型配此算法少六倍 其他不一定能 42.73.112.32 03/26 23:08
→ star99: 圖像聲音影像生成各種算法底層也不同 42.73.112.32 03/26 23:08
推 alvistan: 記憶體要泡沫了!!! 125.229.106.95 03/26 23:10
推 sova0809: OK 資料中心又多了6倍的記憶體使用空間 218.166.73.150 03/26 23:14
推 necrophagist: 這是壓縮上下文大小kv cache的 模 223.143.78.117 03/26 23:17
→ necrophagist: 型本身大小一樣 就是能讓你對話能 223.143.78.117 03/26 23:17
→ necrophagist: 更長 223.143.78.117 03/26 23:17
推 bizer: 壓得多,代表能裝更大的模型,不代表記憶體 36.225.186.149 03/26 23:22
→ bizer: 省 36.225.186.149 03/26 23:22
推 RaiGend0519: 我剛剛去看這到底啥玩意 1.168.51.108 03/26 23:27
→ RaiGend0519: 省掉記憶體 1.168.51.108 03/26 23:27
推 chinhan1216: YA! 118.161.16.148 03/26 23:28
→ RaiGend0519: 但是提高運算負擔、降低準確度 1.168.51.108 03/26 23:28
→ RaiGend0519: 雖然搞不太懂到底要怎麼適用各模型 1.168.51.108 03/26 23:28
→ RaiGend0519: 但如果NV搞成晶片硬體加速的話應該會 1.168.51.108 03/26 23:29
→ RaiGend0519: 很可觀 1.168.51.108 03/26 23:29
推 RaiGend0519: 問AI他給個例子滿好懂的 1.168.51.108 03/26 23:32
→ RaiGend0519: 現在使用的AI就像音樂聽FLAC 1.168.51.108 03/26 23:32
→ RaiGend0519: TurboQuant把FLAC壓成MP3 1.168.51.108 03/26 23:32
→ RaiGend0519: 聽起來還有個87%像但容量大幅減少 1.168.51.108 03/26 23:33
推 RaiGend0519: 於是小容量播放器也能塞幾千首歌 1.168.51.108 03/26 23:35
→ RaiGend0519: 容量需求仍然成長但趨緩 1.168.51.108 03/26 23:36
推 ElderShock: 黃牛: 假的 111.71.32.205 03/26 23:36
推 KooA: 現在買一條=之前買6條,買爆 1.34.190.197 03/26 23:37
推 reaturn: 可以壓縮那不代表說可以買更多記憶體來218.166.139.143 03/26 23:46
→ reaturn: 做多一倍的事嗎218.166.139.143 03/26 23:46