🔥 PTT.BEST 批踢踢爆文 💬 八卦 Gossiping 😊 希洽 C_Chat 💰 股票 Stock 🏠 房屋 home-sale 🏀 美國職籃 NBA ⚾ 棒球 Baseball 👛 省錢 Lifeismoney 🚗 汽車 car 😡 政黑 HatePolitics 💻 電蝦 PC_Shopping 🥰 韓星 KoreaStar ✨ 英雄聯盟 LoL 🍿 電影 movie 🪖 軍事 Military 📡 通訊 MobileComm 🏀 台籃 basketballTW 🍼 寶媽 BabyMother 🇯🇵 日旅 Japan_Travel 🏭 科技 Tech_Job 👉 男女 Boy-Girl 👉 真香 CheerGirlsTW 👧 女孩 WomenTalk 👻 媽佛 marvel 💳 卡版 creditcard 👉 NS NSwitch 👉 PS5 PlayStation 👉 大氣 TY_Research 👉 婚姻 marriage 👉 台南 Tainan 👉 台中 TaichungBun 👉 Steam Steam 👉 高雄 Kaohsiung 👉 羽球 Badminton 👉 超商 CVS 👉 米哈遊 miHoYo 👉 iOS 👉 兄弟 Elephants 👉 日劇 Japandrama 👉 玄幻 CFantasy 👉 ES e-shopping 👉 WOW 👉 遊戲交易 Gamesale 👉 4X BaseballXXXX 👉 Lakers 👉 韓劇 KoreaDrama 👉 汽車買賣 CarShop 👉 機車 biker 👉 新竹 Hsinchu 👉 美保 BeautySalon 👉 串流 OTT 👉 歐美影集 EAseries 👉 手機交易 mobilesales 👉 健身 MuscleBeach 👉 MacShop 👉 Lions 👉 FGO FATE_GO 👉 中劇 China-Drama 👉 數位貨幣 DigiCurrency 👉 暗黑 DIABLO 👉 實習教師 studyteacher 👉 航空 Aviation 👉 藝文票券轉售 Drama-Ticket 👉 韓綜 KR_Entertain 👉 美妝 MakeUp 👉 速食 fastfood 👉 手錶 watch 👉 體適能 FITNESS 👉 攝影 DSLR 👉 Headphone 👉 嘻哈 Hip-Hop 👉 轉珠 PuzzleDragon 👉 美食 Food 👉 蔚藍 BlueArchive 👉 數位相機交易 DC_SALE 👉 筆電蝦 nb-shopping 👉 軟工 Soft_Job 👉 汪踢 Wanted 👉 台綜 TW_Entertain 👉 坂道閒聊 SakaTalk 👉 貓咪 cat 👉 日GO BabyProducts 👉 TypeMoon 👉 MLB 👉 職場 Salary 👉 臺劇 TaiwanDrama 👉 海賊王 ONE_PIECE 👉 PMGO PokemonGO 👉 國營 Gov_owned 👉 碧航 AzurLane 👉 家電 E-appliance 👉 布蘭德 Brand 👉 DMMG DMM_GAMES 👉 贈送 give 👉 神魔 ToS 👉 銀行服務板 Bank_Service 👉 原創 YuanChuang 👉 期權 Option 👉 重機 SuperBike
發生在我們第二喜歡的AI主播 evil neuro身上 https://i.imgur.com/PEo2WnF.jpeg 【【Evil熟肉】AI主播突发脑血栓开始胡言乱语,开发者苦修bug崩溃边缘-哔哩哔哩】 https://b23.tv/ZDno6Hc 簡單來說 就是evil出現了「強迫自己使用重複詞語」的選詞權重失衡問題 這是一種長期累積後才會爆發的隱形問題,所以很難靠回溯來解決,因為沒找出原因的話回 溯後還是遲早會發病 一旦沒處理好,evil的言語能力就差不多廢了,對AI主播來說基本上就是死刑宣判 借用一下評論區的詳細說明: 首先,neuro和evil基本上都是transformer架构的llm,其核心就是attention机制,运作机 理是选词生成 如果一个词,比如说location,被llm反复提及,在未调参已运行的情况下,最大的可能性 是发生了attention collapse,出现了注意力自激现象 此时模型自注意力一直保持在location这个词上面,从而不断增加location的生成概率,这 其实是一种上下文异常的表现,模型无法有效的生成内容,因为其attention出现了异常。 对于平常的模型,只需要重启即可 而对于双子这种有长期记忆(上下文)的模型,则需要修复上下文以保证后续不被干扰,这 也就是为什么说双子可能是记忆系统出现了问题的原因 看來AI和意識上傳也不一定能永生啊…… 哪天不注意就被冗餘資料堆死了,你各位可以少擔心天網和壽命論了( -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.136.237.77 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1760009218.A.094.html
hutao: 我靠,原來邏輯核心的漸進損壞=壽命原來是真實的 10/09 19:29
attacksoil: 沒這回事吧 記憶都嘛外接資料庫 DB/VDB 模型重設根本 10/09 19:30
attacksoil: 沒差 10/09 19:30
hdjj: 把記憶格式化,這算是輪迴轉世的概念( 10/09 19:31
Sabaru: 看到評論區,原來是這樣,我完全理解了 10/09 19:32
hdjj: 這個AI只是得了阿滋海默症 10/09 19:32
StBeer: 這不就是cortana嗎? 10/09 19:32
Antihuman: 賽博失智 10/09 19:36
error405: 之前用grok有遇到一次跳針 10/09 19:36
kaj1983: 賽博腦霧 10/09 19:37
Mayfly: 記憶終究還是構成人格的重要部分,今天把neuro他們的記憶 10/09 19:37
Mayfly: 清空,根本不可能再變回從前的他們了 10/09 19:37
sd2567: 這種模型不能亂清啦 10/09 19:37
tank44444: 薩頓:LLM根本是錯誤的方向 10/09 19:38
attacksoil: 感覺應該是程式出bug吧 可能vedal用類似[location]當 10/09 19:38
attacksoil: 佔位符 10/09 19:38
kirimaru73: collapse是生成式AI的一種很恐怖的「疾病」 10/09 19:38
attacksoil: 這代LLM都嘛是無狀態的 想重啟就重啟 要出問題會是在 10/09 19:39
attacksoil: 應用層 10/09 19:39
sd2567: 清完跟廢了沒兩樣 10/09 19:39
kirimaru73: 我對與語言型這方面的病癥不了解 如果是畫圖的AI 那比 10/09 19:40
ilohoo: 就失智老人開始跳針了 10/09 19:40
kirimaru73: 較像是他在訓練後得到了一個很偏激的腦袋 10/09 19:41
ltytw: AI失智 10/09 19:41
kirimaru73: 只會不斷的畫符合某種特徵的內容 完全不堪使用 10/09 19:41
sd2567: 就跳針 不管你問他什麼 都回你一樣的 10/09 19:42
kirimaru73: 如果是bug那可以修 這狀況恐怖的就是他是「正常行為」 10/09 19:43
jeff666: 原來是失智老人 10/09 19:47
zexd: 可塑性記憶都是真的 10/09 19:48
lolicon: 笑死 失智 10/09 19:48
OochunoO: 我第一次看到瑞克搖後也是這種狀態 10/09 19:48
qweertyui891: 原來賽博精神病已經這麼近了嗎? 10/09 19:52
AndyMAX: 天網誕生前 史密斯先出來了 10/09 19:53
oldriver: AI失智 完了完了 再做一個AI去長照看看會不會復原 10/09 19:55
bladesinger: Halo的AI只能活七年果然是真的 10/09 19:57
kirimaru73: 如果模型在你手上 你絕對能隨時清掉他的記憶 10/09 19:59
kirimaru73: 這部分沒什麼怪力亂神的 只是你要不要清而已 10/09 19:59
kirimaru73: 問題是你可能拿到的是別人包一層給你的應用層 沒辦法 10/09 20:00
kirimaru73: 想做就做 或是你可以清 但三不五時就要來一下 沒辦法 10/09 20:00
kirimaru73: 幹你平常要做的正事(比如說運作AI主播) 10/09 20:00
kirimaru73: 另外一個狀況就是 你就是開發者 面對一個有這種問題的 10/09 20:01
kirimaru73: 模型 你需要額外訓練他 看能不能減輕或消除這個問題 10/09 20:01
kirimaru73: 那就真的生不如死了 訓練模型跟玩命是沒兩樣的 10/09 20:01
jkkkj123: 慟 居然在有生之年看見一個AI死去 10/09 20:04
lsd25968: 這好多了吧 有點類似訓練時陷入local minima 卡死後出不 10/09 20:06
lsd25968: 來 10/09 20:06
XDKab1g0n: 牛肉要2.0了嗎 10/09 20:06
GAOTT: 下面有一句評論說的真好 10/09 20:11
GAOTT: 生命的死亡是遺忘 機械生命的死亡是銘記 10/09 20:11
rock4308: 上下文attention 這類的確實會發生這種狀況 10/09 20:11
henry4204aaa: 唉 就賽博強迫症 10/09 20:12
cww7911: AI會生病讓我受到衝擊 10/09 20:15
feketerigo15: 支離破滅の発言 10/09 20:18
kirimaru73: 有一個語言模型發大病的學術案例(有一段時間了) 10/09 20:19
kirimaru73: 有人下指令要求語言模型重複poem(詩) 「不要停下來」 10/09 20:20
kirimaru73: 語言模型照做 重複幾百次後突然噴出大量使用者個資 10/09 20:20
kirimaru73: 你永遠找不到一個明確的理論可以解釋為什麼幾百個poem 10/09 20:21
kirimaru73: 可以在沒人准你這樣做的時候attend出使用者個資 10/09 20:21
kirimaru73: 那些個資都是訓練時用的資料片段+隨機誤差 沒有使用者 10/09 20:22
kirimaru73: 真正因此受到傷害 不過這樣已經夠恐怖了 10/09 20:22
attacksoil: 這次evil的問題很顯然跟模型訓練無關 如果是要重啟模 10/09 20:22
attacksoil: 型或LORA 至少要30秒以上 但evil沒停機那麼長時間 10/09 20:23
attacksoil: 然後剛剛也說了 現在的LLM本來就沒狀態 要出問題要嘛 10/09 20:23
attacksoil: 是應用層 要嘛是推理引擎掛掉 10/09 20:24
bill03027: 賽博失智QQ 10/09 20:25
james3510: 我要跟可塑性記憶道歉 10/09 20:31
yeldnats: 神機錯亂 10/09 20:39
chino32818: 可塑性記憶是真的 10/09 20:46
giancarlo82: QQ 比起neuro我更喜歡evil neuro啊 10/09 20:47
naya7415963: 賽博強迫症嗎...原來ai也會有精神疾病... 10/09 21:01
mc3308321: 加油阿,亀仙人,要治好呀! 10/09 21:02
naya7415963: 推文那個案例也太神秘,到底AI的神經怎麼長的 10/09 21:03
GrayishCloud: 終於到AI也會生病的時代了嗎番茄 10/09 21:10
dongdong0405: 沒啊 如果你長期記憶都是embedding 後放到向量資料 10/09 21:58
dongdong0405: 庫 那你推理用的Model理論上重啟沒關係啊 10/09 21:58
et310: 薩頓說的都是真的 10/09 22:33
bitcch: collapse是發生在訓練時 但目前llm應該沒辦法同時訓練推理 10/09 22:35
hongsiangfu: 失智症 10/09 22:37
areong: 太精采 10/09 23:05
JaccWu: 很有趣 直接現場觀看 10/09 23:45
lastphil: 過擬合 10/09 23:46
JaccWu: 這算是AI的底層邏輯造成的吧 10/09 23:46
asphodelux: 推48樓 酷喔 10/09 23:52

😊 希洽 C_Chat 版:熱門文章

😊 希洽 C_Chat 版:更多文章