推 w60904max : 看樣子要因為AI失業 只能在家玩刀劍神域了 03/09 13:56
推 roseritter : 推 03/09 13:56
→ LDPC : clip, wave2vec都不需要label data 而wave2vec是後 03/09 13:58
clip跟wave2vec都要進行預訓練的,並不是不用
只是你直接拿他們訓練好的參數就能夠直接fine tune或是直接映射
推 jecint1707 : VR補習 我已經遇見未來了 03/09 13:58
→ LDPC : 來audio encoder幾時(e.g. Meta M4T) 03/09 13:58
推 fakelie : 我自己覺得照護類機器人應該沒這ㄇ快 03/09 13:59
推 ImHoluCan : 台積電工程師準備被取代 03/09 14:00
→ ImHoluCan : 變成決測師 03/09 14:00
推 fakelie : 現在最新model一樣base attention machanism 03/09 14:01
推 dosiris : 最先會被取代的是櫃檯人員和Uber Eat 03/09 14:01
→ LDPC : On the Opportunities and Risks of Foundation Mo 03/09 14:01
→ fakelie : 跟人體有關ㄉ不能出錯 容錯率高產業比較有發展空間 03/09 14:02
→ LDPC : odel裡面有時間軸解釋pretrained model歷史緣由 03/09 14:02
→ LDPC : 甚至Bert也是透過無需標註的數據來做pretrianing 03/09 14:04
推 fakelie : 因為attention導入有weight, softmax，一樣改變不了 03/09 14:05
→ fakelie : NN 本身base on rateㄉ事實 03/09 14:05
→ LDPC : 你所謂高品質標籤數據現在的做法用在finetune 03/09 14:06
推 roseritter : 未來城市規劃裡面 智慧運輸載具專用道 也許會變重要 03/09 14:06
→ fakelie : bert fine-tune看用途 一樣需要標籤 03/09 14:06
推 littlesss : 可以娶兔子老大的女兒了嗎？ 03/09 14:06
→ ImHoluCan : HR 可以取代掉不是嗎？ 03/09 14:06
→ LDPC : 且以現在模型大小來看wave2vec,bert,clip都小於1b 03/09 14:07
→ LDPC : 根本不能算作大模型 03/09 14:07
推 fakelie : 對ㄟ hr的確能取代掉xd 03/09 14:08
→ sawadiga : 克隆打的贏ai不 03/09 14:08
→ LDPC : 我摘錄李非非pretrained model 2021那份報告 03/09 14:08
→ LDPC : A foundation model is any model that is trained 03/09 14:09
→ LDPC : on broad data (generally using self-supervision 03/09 14:10
→ LDPC : e.g., fine-tuned) to a wide range of downstream 03/09 14:10
→ LDPC : zero shot在clip來說 一個ccf12資料就可以train出來 03/09 14:12
→ LDPC : 我不知道你那些立論是從哪來的.... 03/09 14:12
你沒發現我說的是pre-trained model而不是foundation嗎
其實兩者的概念是有點歷史推移的
推 inoce : 跟我想得差不多 03/09 14:12
推 ae8450 : 人類要滅亡了～ 03/09 14:14
※ 編輯: EvilSD (114.137.242.104 臺灣), 03/09/2024 14:19:03
→ ProTrader : AI HR 有產品了 但是說取代真人HR還太早 03/09 14:14
→ LDPC : 而z-shot clip/bert/wav2vec就是從零開始train啊.. 03/09 14:15
推 ImHoluCan : HR 與櫃台 那些都可以砍ㄧ砍，還有什企劃什麼的， 03/09 14:15
→ ImHoluCan : 根本肥貓ㄧ群，我是不信這些東西要靠多強大的AI 才 03/09 14:15
→ ImHoluCan : 能取代掉 03/09 14:15
→ LDPC : 且你理解有錯誤耶 文字輸入變成影像輸入是clip 03/09 14:16
→ LDPC : 融合了embedding 讓文字和影像embedding投射到同空 03/09 14:16
→ LDPC : DALL-E就是拿clip弄出來的 03/09 14:17
這是後面直接省略掉沒細說，不然可能要在再半小時以上...
→ LDPC : yolo並不是解決精確 而是解決速度上...QQ 03/09 14:18
現在算是又準又快了，至少導入Anchor free架構後，小物件開始抓的準了
→ rooberte : 十幾年前就在炒機器人了，現在普及的只有掃地機器人 03/09 14:18
→ LDPC : AGI是現在一個叫做世界模型的議題也跟embedding有關 03/09 14:19
推 j8630222 : 需要真人實際勞力操作的沒那麼快 要等機器人 但對於 03/09 14:21
→ j8630222 : 靠電腦介面工作的 還有創意類 AI可以做大部分 留部 03/09 14:21
→ j8630222 : 分審核修正的人力就好 未來幾年內變化應該非常快速 03/09 14:21
→ LDPC : 現在pretrained大多意指就是foundation 03/09 14:21
※ 編輯: EvilSD (114.137.242.104 臺灣), 03/09/2024 14:23:44
噓 mrmowmow : vr勒，vr建場景成本高一般遊戲就不高嗎？vr遊戲的 03/09 14:23
→ mrmowmow : 問題一直都是不適感，不管是配戴上或是身眼感受不 03/09 14:23
→ mrmowmow : 同步的不適，跟什麼建模成本沒半點關係 03/09 14:23
推 ProTrader : 本篇內容太專業 沒在追的人根本看不董吧XD 03/09 14:25
→ ProTrader : VR 有聽說是視覺演算法議題 目前meta最認真 03/09 14:26
→ LDPC : "clip跟wave2vec都要進行預訓練的,並不是不用" 03/09 14:27
→ ProTrader : 元宇宙失敗不過meta沒有放棄 短期內不會有結果 03/09 14:27
→ LDPC : clip就是拿不需要標籤的數據去做的founcaiton model 03/09 14:28
→ LDPC : 他就是從零開始 而且模型不大 這跟你內文講的牴觸 03/09 14:28
→ LDPC : foundation model就大多是self-supervised 03/09 14:28
→ LDPC : 且clip在做classification是zero shot 這過程都沒 03/09 14:30
→ LDPC : 用到任何標籤數據 模型也不大 這跟你內文牴觸 03/09 14:30
問一個問題哦，一開始訓練CLIP是不是需要一組文字+影像的資料
然後兩者都各過一個Encoder
那這裡的文字+影像算是不需要標籤的數據嗎，這樣想想就好
推 goodbye : 感謝分享故事 03/09 14:31
→ rooberte : 威爾史密斯的機器人電影多久了？到現在也沒實現，沒 03/09 14:32
→ rooberte : 實現就一直炒 03/09 14:32
※ 編輯: EvilSD (114.137.242.104 臺灣), 03/09/2024 14:37:09
噓 lou3612 : 你是做ML的嗎 我看不懂你對”ChatGPT是zero-shot” 03/09 14:37
→ lou3612 : 的吐槽點是什麼 03/09 14:37
→ jo4 : 期待VRMMORPG 03/09 14:38
推 LDPC : wow...天阿 你真的不是搞AI 不知道clip作法 03/09 14:38
推 sdbb : 補血 03/09 14:39
→ LDPC : clip是拿野生img/text pair 這通常是網路像本 03/09 14:40
→ LDPC : 而會說這不是標籤是 因為這些文字敘述有時候跟照片 03/09 14:40
→ LDPC : 無關 比方說 你照了一個麵包 文字那邊寫在台中照的 03/09 14:41
→ LDPC : 這時候你文字就不是標籤 他反而是噪音干擾照片 03/09 14:41
→ LDPC : 那這些野生數據是因為很多照片平台 作者上傳照片 03/09 14:42
→ LDPC : 會寫些文字 但這些文字不一定跟照片有關 他就只是 03/09 14:42
→ LDPC : 野生數據 打個比方 你上傳出去照片 然後寫了一首詩 03/09 14:43
→ LDPC : 這兩個相關性不大 但clip就是比較各種照片文字 找出 03/09 14:43
→ LDPC : 相關性 但因為野生數據太髒 所以效果不好 才會有個 03/09 14:43
→ LDPC : BLIP 就是先做一個classifier去把文字跟照片沒對齊 03/09 14:43
→ LDPC : 的數據排除掉 後期Laion則是利用其他方式做篩選 03/09 14:44
→ LDPC : 或說clip不是用標籤數據 就在他裏面的正負樣本是 03/09 14:45
推 naloer : AI居家機器人?不就特斯拉嗎… 03/09 14:45
→ LDPC : 沒有標籤的 正樣本就是文字跟照片有關 負樣本就是 03/09 14:46
→ LDPC : 文字跟照片相反 更別說wave2vec 就是前後mask資料 03/09 14:46
→ LDPC : 哪來的數據標籤.....0rz 03/09 14:46
推 ck4u04 : 推 03/09 14:46
→ lou3612 : 好幾個點怪怪的 你要怎麼讓生成式ai 生出虛擬環境? 03/09 14:49
→ lou3612 : 然後意義何在? 不知道你是說得太少還是單純在蝦說 03/09 14:49
→ lou3612 : L大說的正確很多 03/09 14:54
→ LDPC : Foundation models are typically trained using se 03/09 14:54
→ LDPC : self-supervised learning This indicated that the 03/09 14:55
→ LDPC : they are not given any explicit labels or instru 03/09 14:55
推 ProTrader : 原po說的虛擬環境應該是3D影像 2D影像升級成3D 03/09 14:56
→ LDPC : 你要模型泛化 你就得用self-supervised learning 03/09 14:56
→ LDPC : 你加了標籤 就是讓模型特制化你要的目的 03/09 14:56
→ ProTrader : 上面那一段 才能說自己的產品升級成AGI 03/09 14:58
→ lou3612 : 3D影像沒有物理引擎要怎麼訓練機器人 03/09 14:58
→ LDPC : Sora目前的確有人懷疑拿unreal的3D物理引擎finetune 03/09 15:00
推 dos01 : 我比較同意這篇 太多在炒AI的畫餅畫太大了 03/09 15:00
推 dos01 : 目前確實是有可能做到遊戲相關的領域 但這塊的餅早 03/09 15:01
→ dos01 : 就被吃得差不多了 都有廠商喊著不玩3A要撤資 03/09 15:01
→ LDPC : 我也希望是炒作 不然每年kpi NeurIPS/ICML/ICLR 03/09 15:02
→ dos01 : 投入AI能得到的報酬率只是杯水車薪 根本不划算 03/09 15:02
→ LDPC : 搞得我都快瘋了..我最近投的ICML也要放榜了 995 QQ 03/09 15:03
推 FFFAAA : 可以請問CPU跑不動，為什麼GPU就跑的動，同樣CPU也 03/09 15:03
→ FFFAAA : 在進化可以取代GPU，為什麼差距會那麼遠？ 03/09 15:03
→ dos01 : 至於機器人喔 5年內都不可能 要連結的複合產業太多 03/09 15:04
→ dos01 : 首先金屬加工 微動 感應器 網路訊號 這些東西要整合 03/09 15:04
→ dos01 : 起來沒這麼容易 03/09 15:04
→ LDPC : 機器人不可能啦 我同意 這波一堆機器人都裁員了 03/09 15:04
推 azhu : AI女友絕對是殺手應用, siri變成”joi” 03/09 15:04
→ ProTrader : 請先理解CPU與GPU的差異 簡單說就各有所長 03/09 15:05
→ LDPC : 我前同事去自駕Argo當CTO 一樣GG 五大自駕直接關門 03/09 15:05
→ LDPC : 現在矽谷就業市場都是GenAI 傳統CV根本找不到面試 03/09 15:05
推 FFFAAA : AI還是以GPU為主，而不是目前最強CPU可以取代，同 03/09 15:06
→ FFFAAA : 樣邏輯，那GPU是不是可以取代CPU目前工作，白話一點 03/09 15:06
→ FFFAAA : 就是GPU屌打CPU。 03/09 15:06
推 dos01 : CPU跟GPU就架構不同 去打幾年的遊戲就知道哪些東西 03/09 15:06
→ dos01 : 是CPU負責 哪些又是GPU負責 就很容易理解了 03/09 15:07
推 likeyousmile: 推 03/09 15:08
推 littlestargu: 推 03/09 15:13
推 cc77 : 橫空啦 03/09 15:14
推 dosiris : 謝謝L大推薦的那篇文章 挑其中幾個章節來看 03/09 15:18
推 NCTU5566 : 推 03/09 15:19
推 domon0525 : 推 03/09 15:24
推 zoze : 白話: NV和AMD繼續當軍火商，賺爛 03/09 15:28
→ newwu : 別拿現在AI的方向來說未來發展一定是哪個方向 從最 03/09 15:32
→ newwu : 早拿NV的GPU來做深度學習也才15年而已 15年來大熱 03/09 15:32
→ newwu : 門的方向換N次了 03/09 15:32
推 josephpu : 推 03/09 15:47
噓 jojochen : 然而掃地機器人還是智障與效果不好 03/09 16:37
推 swansea : 99TSLA 03/09 16:39
推 roseritter : 粗略的說cpu像做很長的加法f1+f2是，a11+a12+....+a 03/09 16:41
→ roseritter : 1n+a21+a22+....+a2n 03/09 16:41
→ roseritter : 像國小的學生一樣2項加完得解再跟第三項加一路做下 03/09 16:42
→ roseritter : 去 03/09 16:42
推 m06800825 : GPU就是差在有辦法做tenaor的平行運算 這個部分CPU 03/09 16:42
→ m06800825 : 再怎麼好都無法取代 03/09 16:42
→ roseritter : GPU,直接兩個長橫式列出來，pop就給你(a11+a21)+(a1 03/09 16:45
→ roseritter : 2+a22)+.....+(a1n+a2n) 03/09 16:45
噓 azxswqa : 人力成本多少？AI成本多少？ 03/09 16:56
噓 shinyi444 : 沒有政府背書法條和歷史性的公約 這種撼動統治階級 03/09 17:48
→ shinyi444 : 的東西能商轉嗎XD 03/09 17:48
→ shinyi444 : 只要未來有AI稅這東西全部崩回原點XD 03/09 17:49
推 pooiuty : 太專業的討論了，結論就是:1.這個市場還有無限想像 03/09 17:53
→ pooiuty : 空間，2.以後有可能變成各國軍備競賽， 03/09 17:53
推 twerk : 結論：NVDA和AMD繼續噴 TSLA就是個嘴砲仔 03/09 17:56
推 gladopo : 推 03/09 18:22
推 bbignose : NVDA領頭噴，TSM後面遞水 03/09 19:11
推 iammacross : 推 03/09 23:07
推 gwofeng : 我老婆初音終於要有身體了 03/09 23:37
推 hanhsiangmax: 專業推 03/10 01:19
推 cc1plus : 大間的 CSP 應該都會弄 CPU+自有TPU 的方式 03/10 02:00
→ cc1plus : 沒辦法丟資源的才會弄 GPU ，CPU 也可以跑就推理 03/10 02:01
→ cc1plus : 最近看到 intel i14 大打推理，不知道實際速度如何 03/10 02:01
→ pocession : 其實我覺得L大講的比較對。這篇的講法有些聞題 03/10 04:41
→ pocession : 一開始的訓練並不是使用標記資料的。 03/10 04:42
→ pocession : 就連在預訓練的前置訓練，像是word2vec這種淺層的 03/10 04:43
→ pocession : 神經網路 03/10 04:43
→ pocession : 也沒有標記什麼東西。 03/10 04:43
→ pocession : 有的，只是輸入和輸出的配對，藉由訓練去找出規律， 03/10 04:44
→ pocession : 就是所謂的模型 03/10 04:44
推 pocession : 而在後面各式的task中，會對模型進行fine tuning 。 03/10 04:48
→ pocession : 而有些task，例如NER或是NEN，就需要高品質的預先 03/10 04:49
→ pocession : 標示好的資料。 03/10 04:49
→ Alwen : 黃董直接嗆那些替代晶片就算免費 TCO還是比較貴 03/10 09:45
→ Alwen : 真的厲害惹 事情沒有媒體講的那麼簡單 03/10 09:45
→ Alwen : CSP不會用TPU這種侷限性很高的東西= = 03/10 09:47
