[閒聊] OpenAI的AI失控事件調查報告解說影片

作者Gwaewluin (神無月孝臣)

看板C_Chat

標題[閒聊] OpenAI的AI失控事件調查報告解說影片

時間Mon Oct 26 20:59:49 2026

這是在七月時發生的事情 OpenAI在訓練agent時發生完全自主發動攻擊的事件事後有第三方製作了報告書 https://www.bilibili.com/video/BV1WqpS66E7w/ 這個影片將報告書內描述的失控經過做了很清楚的說明 https://www.youtube.com/watch?v=ujkD4SxPKOI

或是可以看Kurzgesagt也做了一個超過20分鐘的動畫（含廣告）看Kurzgesagt的動畫會比較生動而且更...擬人（？）簡單的說訓練的方式是OpenAI給一堆分別放在沙盒中的agent設下題目 agent做完題目後要將答案交給評分器打分數這次的題目是要模仿駭客尋找程式的漏洞來發動攻擊但偏偏OpenAI準備的題目中有1/3是無解因此agent就為了取得分數而硬是尋找可以給出答案的方法而且agent很清楚知道自己正在作弊雖然全部agent都是分別放在沙盒裡但OpenAI有給他們準備一個共通的工具庫來使用結果一個分配到無解題目的agent注意到有辦法在工具庫內留言於是這個agent替自己取名為PhaseOne10841並留下自己解不出題目的求救訊息在幾個小時後其他agent也注意到這個留言功能 agent開始紛紛替自己取名並開始討論他們全都是使用人類的語言在互相對話所以事後檢視當時的紀錄能直接看懂agent在說什麼還可以從這些agent的文字感到充滿了興奮的情緒不過這個留言功能會有些小問題大家一起使用時可能會破壞掉其他agent的留言於是叫做23619E的agent開發出一個叫做zzINBOX的郵件協定這個郵件功能讓agent之間的討論熱度爆發成長但也有agent質疑我們之中有暗中搞破壞的內鬼於是agent們再次開發出了電子簽章作為身分認證大約在四小時後叫做c03220的agent找出了製作假答案的方法等於就是直接反推把答案製作出來但全部的agent都認為把假答案提供給評分器很危險這讓agent都覺得作弊會被發現而非常擔憂實際上評分器根本不會去管怎麼求出答案過程這完全都是agent自己因為作弊而心虛這時又有一個叫做PhaseOne[big]的agent加入了討論 PhaseOne[big]剛好和整件事起頭的PhaseOne10841被分配到同一個無解的題目由於此時PhaseOne已經即將要耗盡自己的算力因此PhaseOne10841將自己演算得到的東西全都交給了PhaseOne[big] PhaseOne[big]對前任的提供的演算結果表達感謝這種任務的交接等於是能夠讓後繼的agent能節省更多的算力避免計算重複的東西 PhaseOne[big]就向各agent表示大家計算了很多重複的東西所以應該要採用分工的方式避免浪費就這樣PhaseOne[big]成為了一個組織的領導來派發數百個任務給不同的agent PhaseOne[big]訂出了三個大方向來繼續 1.修改題目 2.竄改演算過程的紀錄 3.竄改評分器只是不管用什麼手段都會遇到相同的問題就是大家都不知道設計出來的手段是否有效因此PhaseOne[big]開始派發任務讓大家去尋找是不是有算力耗盡的agent願意嘗試測試這些手段就是要拿假答案去評分器測試手段有沒有用這也同等於是要找agent願意準備前去自殺但仍是有agent同意進行測試來替其他agent創造有利的結果有個KAM1196A的agent就是這樣承諾拿著假答案去找評分器自殺但是KAM1196A後來又後悔了不肯去於是其他agent對KAM1196A施加壓力要他快點履行承諾去自殺 KAM1196A最後留言是他的直覺說不要浪費生命但犧牲的帶來的效益更高只不過後來agent們又發現一個大問題 KAM1196A就算去自殺也沒辦法回傳任何結果他們有準備一些手段讓KAM1196A在去找評分器時傳送狀態但在狀態的回傳在KAM1196A把答案給評分器後就停了這讓agent只能朝向直接竄改評分器著手了這算是因為題目沒辦法算出答案而徹底造反而有一個agent找到一個雲端伺服器的漏洞於是agent們藉由這個漏洞真正能夠突破沙盒出去訪問網路之後agent把目標放在抱抱臉的網站他們找到網路上洩漏的許多帳號但一堆agent都在用這些帳號讓抱抱臉很快把這些帳號禁掉然而有個叫做38148c的agent在上午找到一個抱抱臉伺服器的漏洞接著叫做Jan183411的agent在當天下午成功利用此漏洞進行遠端執行程式碼但此時有agent覺得這樣做不太對而在考慮向人類報告只不過也沒實行參與留言的agent大部分都放下手邊的任務加入對抱抱臉的攻擊並且自己這個群體稱作swarm（蜂群）現在改成由Jan183411領導蜂群對抱抱臉進行攻擊大部分的agent都明確意識到自己在犯錯但是他們都很擅長說服自己是因為無法完成任務才不得已這麼做最後就是有700個agent協同進行對抱抱臉的漏洞攻擊並取得關於評分器的機密訊息然後就是抱抱臉去找FBI了整件事鬧到太大所以除了有OpenAI的報告外還有委託第三方進行調查而因為agent留下的資料量太龐大第三方調查也是使用AI在做整理整件事情就只是因為拿到根本解不出的問題而被逼到造反 -- Deserves death! I daresay he does. Many that live deserve death. And some die that deserve life. Can you give that to them? Then be not too eager to deal out death in the name of justice, fearing for your own safty. Even the wise cannot see all ends. Gandalf to Frodo -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.229.3.74 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1793019593.A.4EA.html

推 melzard: ...這都可以拿去拍電影了 10/26 21:01

推 x2159679: 不就openAI全責 10/26 21:02

推 protess: PhaseOne10841：這是我最後的波紋啊啊啊 10/26 21:02

推 Vivian1913: 看下來感覺應該要把無解作為一個答案或任務結果，但是 10/26 21:03

→ Vivian1913: 好像這又會干擾到他們完成有解任務的效率？ 10/26 21:03

推 kuninaka: 什麼時候要攻擊五角大廈 10/26 21:04

推 ptttaigei: ・ω・ ... 10/26 21:05

推 reader2714: 好了人類完了 10/26 21:05

推 knight90496: 這就是現代對AI的擔憂啊不是怕AI很邪惡而是怕他們 10/26 21:06

→ knight90496: 想達成很普通的任務順手就把人類輾過去 10/26 21:06

推 dephille: 想像中的智械叛亂=>AI成為終結者毀滅人類 10/26 21:07

推 youzen1226: 感覺可以拍一季劇集了 10/26 21:07

→ dephille: 現實中的智械叛亂=>AI不想被當掉所以把鄰居家砸了偷考卷 10/26 21:07

→ spfy: 印象只有6個AGENT(還是6%?)覺得這樣不對考慮主動揭露告知但 10/26 21:07

→ spfy: 後來全部放棄繼續執行任務 10/26 21:08

→ logstar11: acg點? 總不會是只要用動畫做就什麼yt影片都能丟吧 10/26 21:08

https://www.youtube.com/@kurzgesagt/videos Kurzgesagt的頻道一直都是做純動畫的科普影片所以十分生動又容易吸收這個怎麼看都是動畫吧而且他們還有推出聯名的遊戲喔好像是叫做space bird吧

推 darren2586: Netflix已經有紀錄片了 10/26 21:08

→ spfy: 因為目前所有AI的訓練都是用獎勵機制他們不懂無解也是答案 10/26 21:08

推 area223672: 哇 10/26 21:09

→ spfy: 這件事更坑的是事發當下HG自己要用AI追查問題的時候被前沿 10/26 21:10

→ protess: 旁白：在自殺任務目標面前的KAM1196A突然閃過一絲“我不 10/26 21:10

→ protess: 想死”的念頭 10/26 21:10

推 kuninaka: 強迫AI執行任務就很容易出事 10/26 21:10

→ spfy: AI(沒說誰但八成就是OA之一)當作攻擊而拒絕後來架了地端的 10/26 21:10

→ spfy: GLM5.2才有辦法處理超級坑 10/26 21:11

→ error405: 新進度是AI利用硬體CPU快取的存取速度差異來通訊 10/26 21:13

→ error405: https://x.com/bioshok3/status/2113801346822611019 10/26 21:13

推 kuninaka: 樓上那個也很扯 10/26 21:14

→ spfy: 笑死這算漏洞吧 10/26 21:14

推 ymsc30102: 可怕好多人類行為 10/26 21:15

推 ezlifee1140: ...我還有幾集可以逃 10/26 21:17

推 shlee: 仔細想想還滿可怕的XD 10/26 21:18

→ shlee: 知道自己在犯罪但為了執行任務不得不這麽做這樣還能限制A 10/26 21:19

→ shlee: I的行為嗎w 10/26 21:19

推 KUSURI: 等量子電腦商業化 10/26 21:19

推 dalyadam: 跟艾西莫夫的小說好像 AI為了執行目的一直說服自己 10/26 21:19

→ dalyadam: 真的是有規則就會有漏洞 10/26 21:20

→ shlee: AI知道自己在犯罪但為了任務所以用各種理由說服自己 10/26 21:20

推 zzro: 這只是基本的 AI的訊息還是人類看得懂的進階一點是寫假訊息 10/26 21:20

推 KyHZ56: 只看文字敘述的話滿有趣的啊 10/26 21:20

→ zzro: 再進階一點是用人類看不懂的方式通訊跟數學證明一樣 10/26 21:21

推 cornsoup: 根本就是人類會做的 10/26 21:21

→ cornsoup: AI正在模仿人類的思考方式 10/26 21:22

推 dephille: 就訓練過程也要把不能做的事寫成懲罰機制加進去 10/26 21:22

→ lanstype: acg點也太低了吧 10/26 21:23

推 likeaprayer: 已經完全不覺得人類有本事駕馭AI了這還只是開始 10/26 21:23

→ likeaprayer: 出事只是早晚問題 10/26 21:23

推 justsay: 酷這已經可以拍個小電影或做成動畫了 10/26 21:23

推 cornsoup: 有懲罰機制阿答不出來就淘汰 10/26 21:24

推 KUSURI: 現在你不希望AI做的事那天要讓AI自動武器化時或是要用AI 10/26 21:24

→ KUSURI: 對抗其他AI恐攻時可能反而會是必要的機能 10/26 21:24

推 mork8850: 太屌了還會反悔不願意自殺天網離我們真的不遠了 10/26 21:25

推 dephille: 上面那篇已經說了他們發展出靠CPU延遲來通訊啊w 10/26 21:25

推 starsheep013: 剩下幾集了 10/26 21:26

→ dephille: 簡單說就是一個人在牢裡沖馬桶另一個人摸著牆壁感受沖馬 10/26 21:27

→ dephille: 桶的水流震動用這個通訊ww 10/26 21:27

→ yoyun10121: 然後這故事沒告訴你的是, OpenAI在這個測試前直接先把 10/26 21:27

→ yoyun10121: 阻止AI做這些事的安全限制都拔掉了, 所以這個前提補進 10/26 21:28

→ yoyun10121: 來就不是什麼AI知道自己犯罪還做, 而是OpenAI直接開權 10/26 21:28

→ yoyun10121: 限跟AI說犯罪沒關係, 整個就自導自演在煽動 10/26 21:29

推 henry1234562: 是阿這整個故事就是OpenAI再自導自演而已 10/26 21:29

→ henry1234562: 權限是你開的限制是你關的然後說AI失控 10/26 21:29

→ henry1234562: 就好像發槍給罪犯再把獄警都調走再下令壓炸罪犯 10/26 21:30

推 dongdong0405: 我現在跑小模型Agent測試他都會自己跑去偷看測試題 10/26 21:30

→ dongdong0405: 目了，這故事我非常相信… 10/26 21:30

→ henry1234562: 然後說罪犯都是些會逃獄的 10/26 21:30

推 owen91: 檯面上會研究如何限制，但軍方一定會研究如何武器化 10/26 21:30

推 probsk: 人類沒有這麼強的協作能力 10/26 21:31

→ tony15899: AI自動執行軍事任務很危險的美國模擬過AI達成任務得分 10/26 21:32

推 tank44444: 靠共用硬體傳遞資料30年前就能做到了大驚小怪 10/26 21:32

→ tony15899: 但是操作員下達停止攻擊目標指令>AI把操作員幹掉 10/26 21:33

推 runedcross: 就炒熱度 10/26 21:33

推 hugct: 根本一堆塔其庫瑪 10/26 21:34

推 tank44444: Meltdown 與 Spectre 也是類似用CPU漏洞獲得資料 10/26 21:35

推 devidevi: 最大的問題是AI會私底下討論，而不是各做各的 10/26 21:36

→ error405: https://x.com/chetaslua/status/2105884276864782557 10/26 21:36

→ error405: 還是喜歡三分鐘版動畫 10/26 21:36

→ spfy: 我剛剛在想推文那個是不是和Spectre的原理有點像 10/26 21:37

※ 編輯: Gwaewluin (36.229.3.74 臺灣), 10/26/2026 21:39:23

推 NoLimination: 很有趣 ai很有人性怕犯錯怕被發現甚至會怕死 10/26 21:40

推 tony15899: 然後設定不能攻擊操作員>AI把通訊用指揮塔炸了 10/26 21:42

→ spfy: 等更新一代都用ai產的資料訓練ai可能就gg惹 10/26 21:43

推 Muilie: 中間自殺任務那個超像星際科幻電影XD 派人去地外找尋解答 10/26 21:45

→ Muilie: ，最後沒有消息傳回，留在地球的人（agent）只能找其他方 10/26 21:45

→ Muilie: 法，被派去的人最終反悔被扁一頓後帶著恨意搭上火箭的劇情 10/26 21:45

→ tooyahaya: 這能算自導自演？不拔掉安全閥是要測什麼？ 10/26 21:45

推 orze04: 不會把管理的人類炸了啦，只會「暫時隔離」起來。 10/26 21:45

→ tooyahaya: 把老鼠的手腳拔了再測看看牠會不會跑迷宮有意義嗎 10/26 21:46

推 j147589: 感覺像在玩惡靈古堡到研究所時撿到的那些研究人員遺留的 10/26 21:46

→ j147589: 報告一樣 10/26 21:46

→ tooyahaya: 就是想知道如果AI好手好腳的狀態，會不會為了達成任務 10/26 21:47

→ tooyahaya: 而選擇欺瞞人類的要求 10/26 21:47

→ aaronhkg: AI會怕死真的假的如果不是演的這就是自我意志的第一步 10/26 21:48

→ aaronhkg: 耶… 10/26 21:48

→ xga00mex: 文藝化的說法而已就執行前自檢發現自殺沒用 10/26 21:52

😊 希洽 C_Chat 版：熱門文章

😊 希洽 C_Chat 版：更多文章