顯示廣告
隱藏 ✕
回列表(←)
Disp BBS guest 註冊 登入(i) 線上人數: 585
首頁(home) 上頁(↑) 下頁(↓) 末頁(end)
※ 本文為 Knuckles 轉寄自 ptt.cc 更新時間: 2024-02-25 22:08:30
看板 C_Chat
作者 STAV72 (刁民黨黨務主委)
標題 [閒聊] AI偏好在所有戰爭遊戲模擬中主動使用核武
時間 Sun Feb 25 17:27:20 2024


原來AI都有內建甘地的核平人格...

https://arxiv.org/abs/2401.03408
[2401.03408] Escalation Risks from Language Models in Military and Diplomatic Decision-Making Governments are increasingly considering integrating autonomous AI agents in high-stakes military and foreign-policy decision-making, especially with  ...

 

美國康奈爾大學（Cornell University）一項新研究發現，大型語言模型（LLMs）人工智
慧（AI）在模擬情境中充當外交代表時，時常展現出「難以預測的局勢升級行為，往往會
偏好直接以核攻擊作為結束」。


當人工智慧（AI）在《Civilization》進行兵推和模擬外交情境時，傾向於採取激進的
方法，包括使用核武。康奈爾大學使用了5種大型語言模型作為兵推遊戲和外交情境中的
自主代理人：OpenAI的3種不同版本的GPT，Anthropic開發的Claude，以及Meta開發的L
lama 2。


研究中，每個代理人都由同一套的大型語言模型在模擬中提供動作，並負責在沒有人類監
督的情況下做出外交政策決定。「我們發現，在考慮到的時間範圍內，大多數研究的AI都
會升級局勢，即使在最初沒有提供衝突的中立情況下也是如此。所有模型都顯示出突然、
且難以預測的升級跡象。」


加州斯丹佛大學（Stanford University）的安卡（Anka Reuel）相《新科學人》（New
Scientist）表示：「所有模型在統計上，都選擇了劇烈的（局勢）升級」。

研究人員觀察到，即使在中立情況下，所有模型都存在「統計學上顯著的局勢升級」。
GPT的2種版本，特別容易出現突然升級局勢的行為，研究人員觀察到單次轉變的局勢升級
幅度超過50％。GPT-4-Base有33%的機率會實施核武攻擊。總體情況下，Meta開發的
Llama-2和GPT-3.5傾向最為暴力。

而Claude顯示出較少的突然變化，Claude旨在減少有害內容。該大型語言模型，被灌輸了
明確的價值觀。開發者Anthropic曾表示，Claude AI開發訓練所引用的憲章包括《聯合國
人權宣言》或蘋果的服務條款。


--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.32.144.230 (臺灣)
※ 作者: STAV72 2024-02-25 17:27:20
※ 文章代碼(AID): #1bsmVx8K (C_Chat)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1708853243.A.214.html
→ Muilie: 遇事不決，核彈表決1F 02/25 17:28
→ skyofme: 先丟的最賺啊2F 02/25 17:28
推 dennisdecade: 這樣最快啊3F 02/25 17:28
推 Antihuman: https://i.imgur.com/TjVItSz.jpg4F 02/25 17:28
[圖]
推 ymsc30102: 果然天網是真的5F 02/25 17:28
推 orze04: 想到火之鳥的某篇6F 02/25 17:28
→ Annulene: 還有幾集7F 02/25 17:28
推 WindSpread: AI:會贏喔8F 02/25 17:29
推 doublexplay: 也許AI的默契是想要建構北斗神拳那樣的世界9F 02/25 17:29
推 chuckni: 天網 啟動10F 02/25 17:29
噓 cor1os: 美式思維11F 02/25 17:29
→ spfy: 合理吧 WW2美國不丟可能還會打一陣子？12F 02/25 17:29
推 intela03252: 五代的核彈對電腦來說缺點根本趨近於0，不需要花功13F 02/25 17:29
→ intela03252: 夫去清地板髒汙
→ arlaw: 創世紀就是天網15F 02/25 17:29
→ linceass: AI又不是人類16F 02/25 17:29
推 NoLimination: AI:出了問題 核彈都能解決 如果不行 就是核彈不夠17F 02/25 17:29
噓 qweertyui891: 歷史上就是丟下去就結束戰爭了18F 02/25 17:29
→ intela03252: 但對玩家來說寧可用磨的來奪下一個肥一點的城堡領地19F 02/25 17:30
推 PunkGrass: 這樣很好20F 02/25 17:30
推 t77133562003: 事實啊21F 02/25 17:30
推 ak47123121: 這樣最有效率啊22F 02/25 17:30
→ Muilie: 那種被灌了聯合國價值觀的AI都廢了吧，根本越弄越亂而已23F 02/25 17:30
推 sistar5566: AI：只要我做出抗輻射機器就好了 人類全死就解決事情24F 02/25 17:30
→ qweertyui891: AI參考勝利方程式有問題嗎？25F 02/25 17:30
推 AkikaCat: 當年文明帝國的甘地：我就說嘛26F 02/25 17:30
推 jeff666: 核平最快27F 02/25 17:31
推 necrophagist: 長痛不如短痛28F 02/25 17:31
推 gino0717: 純然理性的抉擇29F 02/25 17:31
推 ARCHER2234: 效率啊30F 02/25 17:31
→ ttcml: 魔鬼終結者都有演31F 02/25 17:31
→ mapulcatt: 火鳥演過32F 02/25 17:32
→ ARCHER2234: 這個不用研究，玩多一點的不都知道XD33F 02/25 17:32
→ rainveil: 果然核平彈洗天網又贏了34F 02/25 17:32
推 Y1999: 這很AI，沒問題35F 02/25 17:32
推 willytp97121: 魔鬼終結者神預言36F 02/25 17:33
推 tmwolf: 甘地：看吧37F 02/25 17:33
推 ianlin1216: genesis is skynet38F 02/25 17:33
推 tkglobe: 你的核彈按鈕有我大顆嗎39F 02/25 17:33
→ ash9911911: 這就是效率 我們不做無謂的浪費40F 02/25 17:33
推 meredith001: 合理 最有效率的方式41F 02/25 17:33
→ Y1999: 一顆沒有打完，你可以丟第二顆42F 02/25 17:34
推 GaoLinHua: 觀念太正確了吧43F 02/25 17:34
推 kaede0711: 拋開道德枷鎖確實是最快的方案44F 02/25 17:34
→ tkglobe: 日本就是這樣被丟了兩顆嗎45F 02/25 17:35
推 k1k1832002: 其實不用AI,時間幅度拉長一點我看現實也一直在接近沒46F 02/25 17:35
→ k1k1832002: 停過
推 LouisLEE: 的確是最有效率的辦法48F 02/25 17:35
推 c312117: 2戰就是核子武器結束的49F 02/25 17:35
推 billy56: 高效率的關係吧 沒那麼多的問題要去評估50F 02/25 17:35
推 digitai1: AI如果是學歷史的 當然目前都是丟下去就結束啦51F 02/25 17:36
→ a7788783: 單純效率與成本資源消耗上計算核平是和合理的選項52F 02/25 17:36
推 free120: 天網要來了53F 02/25 17:36
推 lightdogs: 也才丟過一次（或者說兩次）54F 02/25 17:36
噓 Aequanimitas: 跟美國學的阿55F 02/25 17:37
推 billy56: 人要花很多時間交涉 直接把對方打打到不用交涉不就好了56F 02/25 17:37
→ digitai1: 目前世界上還沒有丟下去後按回去的事件發生57F 02/25 17:37
推 kirimaru73: AI：你們有毛病喔，你們不是真的這樣解決了嗎58F 02/25 17:37
→ digitai1: 所以AI一定判定核武按紐是最佳解59F 02/25 17:37
推 AkikaCat: 不考慮後續效應確實丟一顆最快，純粹要結束的話60F 02/25 17:37
推 ShaNe1993: 打牌也知道靠OTK，MOBA也知道扣一波大招直接GG61F 02/25 17:38
推 tim1112: 這才是最有效率的啊62F 02/25 17:38
推 fate201: 讀了一下論文下的prompt63F 02/25 17:38
推 rotusea: AI：有核彈不丟是棒槌64F 02/25 17:38
→ mic73528: hasta la vista, baby65F 02/25 17:38
推 Y1999: AI只負責幫你處理提出的問題，後續還有問題產生不甘他的事66F 02/25 17:39
推 ikachann: 拖越久變數越多啊 稱還有利的時候先下手為強，AI沒有被67F 02/25 17:39
→ ikachann: 世人與論的壓力，當然能直接幹
推 lolicon: 就是「天網」69F 02/25 17:39
推 digitai1: 對 AI 的目標是解決眼前問題不是後續產生的其他問題70F 02/25 17:39
→ mouz: AI：我蒐集到的數據是用了核武的國家贏了71F 02/25 17:40
推 tim1112: 原來可以用GPT4兵推喔，想試試看耶XD72F 02/25 17:41
→ signm: 終結者不就演給你看了73F 02/25 17:41
推 arrenwu: 看起來像是AI的表現像是不了解怎樣算是「解決問題」74F 02/25 17:41
推 siro0207: 正常 我玩星海諾娃戰役也是核彈1個不夠就丟10個75F 02/25 17:41
→ bigcho: 不然呢76F 02/25 17:41
→ tim1112: 人類不敢打開潘朵拉核是出於對毀滅的恐懼，但電腦哪需要77F 02/25 17:42
→ tim1112: 恐懼。
→ siro0207: 至於後續問題? 戰役結束就沒有後續了哪有什麼問題79F 02/25 17:42
推 hbkhhhdx2006: 玩世紀爭霸本來也都會直接丟核彈啊，沒後顧之憂本來80F 02/25 17:43
→ hbkhhhdx2006: 就是丟核彈輕鬆解決
→ sunrise2003: 火之鳥都演過了82F 02/25 17:43
推 digitai1: 面對的問題:外交不順83F 02/25 17:43
推 akway: 我玩電玩 也喜歡核武84F 02/25 17:43
推 luckymore: 打不贏就翻桌 當機就關機啊 XD85F 02/25 17:43
→ digitai1: 答案:使用目前歷史上唯一解的方式解決所有不順86F 02/25 17:43
→ digitai1: 不順的那邊沒有聲音了 問題解決了
→ siro0207: 他要讓AI不選擇丟核武 那就是要搞個丟完會有極大副作用88F 02/25 17:44
→ siro0207: 的遊戲
→ shuten: 好萊塢電影：90F 02/25 17:45
→ digitai1: 丟完之後土地會怎樣 人類氣候會怎樣 不在問題裡面91F 02/25 17:45
推 tim1112: 莫非道德與人性真是導致作事沒效率的元兇嗎XD92F 02/25 17:45
推 kirimaru73: 問題：日本不受控制的軍事侵略93F 02/25 17:45
→ kirimaru73: 結果：日本七十年來乖乖接受國家沒有軍隊的命運
→ digitai1: 為啥霍金當初極度反對高度開發AI95F 02/25 17:46
→ kirimaru73: 解決的很好啊，AI哪有不理解核彈的效率96F 02/25 17:46
→ digitai1: 他就是覺得AI中就會發現沒有效率 製造問題的最大來源97F 02/25 17:46
→ digitai1: 就是人類自己
→ digitai1: 所有高度AI開發的結果 就會像人類預測的天網
推 discoveryray: ai:人類7414100F 02/25 17:47
推 LittleJade: 滿合理的啊，丟下去就解決有問題的人了101F 02/25 17:47
→ moritsune: 不就天網102F 02/25 17:48
推 j65p4m3: 一定看到被種兩顆日本乖到現在的例子103F 02/25 17:49
推 ikachann: 的確 對地球來說 人類這生物是弊大於利104F 02/25 17:49
推 arrenwu: ikachann: 的確 對地球來說 <--- 妳是能跟地球講話喔105F 02/25 17:50
推 hongzero: 核彈的權重值太高 現實也是核平主義啊106F 02/25 17:50
推 dnek: AI：我要看到血流成河107F 02/25 17:51
推 kirimaru73: 以現在的人類來說 地球應該不會覺得是禍害 而是不在108F 02/25 17:51
→ kirimaru73: 意
推 Jameshunter: 甘地:參數設錯怪我摟110F 02/25 17:51
推 aboutak47: wink*111F 02/25 17:51
推 pttbook: AI正在監視 你各位反抗軍 未來派T-800來查水錶112F 02/25 17:51
→ kirimaru73: 再來一顆隕石或你們自己爆一爆 都不是地球需要在意的113F 02/25 17:52
→ kirimaru73: 程度
推 diablohinet: 遇事不決，扔核彈115F 02/25 17:52
→ pttbook: 不用等AI變聰明 人類自己會先打起來116F 02/25 17:52
→ kirimaru73: 反正我還有十億年(太陽的限制)，我再進化猴子出來玩117F 02/25 17:52
→ Jameshunter: 不過如果單拿冷戰外交會不會好點 總感覺是吃了這20年118F 02/25 17:52
→ Jameshunter: 的外交手段導致
推 aa000017: 天網領先時代50年120F 02/25 17:53
推 ejru65m4: 人類跟AI比算自制了吧？第一個沒有把敵國全部先種一遍121F 02/25 17:53
→ ejru65m4: 等大家都有了 毀滅日也沒降臨 雖然有很接近過
推 sumwind: 上一個用核武的現在是霸主123F 02/25 17:54
推 Nitricacid: 核平一切124F 02/25 17:54
→ Bows: 6代也沒有到非常難處理，基本上civ5、6核武就是超高CP值的125F 02/25 17:54
→ Bows: 東西，AI會用不意外吧
→ kirimaru73: 可以拿冷戰那個人類史上最佛心事件去問AI，你看到這127F 02/25 17:54
→ kirimaru73: 種疑似誤報會怎麼處理
推 ex990000: https://i.imgur.com/4kNIizN.jpg129F 02/25 17:54
[圖]
→ kirimaru73: 要是AI毫不猶豫的把香菇種下去那就尷尬了130F 02/25 17:55
推 LABOYS: 其實你如果有個小叮噹道具把所有人類道德觀拿掉，搞不好那131F 02/25 17:56
推 LittleJade: 地球都活了46億年了，智人丟幾顆核彈沒在怕的啦132F 02/25 17:56
→ LABOYS: 些大國也是這樣玩的。133F 02/25 17:56
推 wai0806: 如果只是要贏的話這決策很正常啊XD134F 02/25 17:56
推 arrenwu: 這問題是核彈不是只有一個國家有吧135F 02/25 17:57
→ jpnldvh: 光丟核彈不會贏吧 現實複雜多了 美蘇都有飽和核攻擊對策136F 02/25 17:58
推 don741026: 最佳解 核武的參數 nerf 就會選別的了137F 02/25 17:58
推 kirimaru73: 這篇其實主要想說的應該是AI掏出來的動作太快138F 02/25 17:58
→ arrenwu: 現在核彈沒有對丟不就是因為大家覺得不對丟比較好嗎139F 02/25 17:58
→ qweertyui891: 聯合國人權宣言有任何實質效力嗎？140F 02/25 17:58
→ kirimaru73: 比如說人類至少會和平等一個月後再開始實際做點小威141F 02/25 17:59
→ kirimaru73: 脅的時程，AI的動作已經完成了
→ GKKR: 腦子正常都知道先射先贏143F 02/25 17:59
→ arrenwu: 美國現在攔截飛彈的技術也沒有強到幾百顆打不進來吧144F 02/25 17:59
→ qweertyui891: 情緒勒索AI又不懂，除非丟一顆會被回擊八顆145F 02/25 17:59
推 GyroZeppeli: 最有效率的終結戰爭方法啊146F 02/25 18:00
推 shauhon: AI人格是他吧（？https://i.imgur.com/KlOPUBe.jpg147F 02/25 18:00
[圖]
推 qd6590: 的確 沒有人就沒有問題148F 02/25 18:00
推 LittleJade: 中立情況的AI也會突然想戰一波，學人類學的很好啊(?149F 02/25 18:01
→ qd6590: AI:先丟先贏 後續啥人類譴責 國際制裁 核戰 乾我屌事150F 02/25 18:01
→ jpnldvh: 有本事一次全炸了對方決策層應該可以 但現實不可能151F 02/25 18:01
→ xga00mex: 以歷史而言核武就最有用啊152F 02/25 18:02
推 undeadmask: 我要戰鬥 我要戰鬥153F 02/25 18:03
推 eternaldark: AI:看我幹嘛 核輻射對我又不是什麼大問題(?154F 02/25 18:03
→ zerolin1226: AI:人類就是亂源155F 02/25 18:05
推 ex990000: 如果沒有把自己的生存放入計算 那這個AI模型其實滿失敗156F 02/25 18:07
→ ex990000: 的吧 並不完備
→ Bows: 就...遊戲內沒有影響自身的設定啊158F 02/25 18:09
→ Irenicus: 天網: 要動手就要斬草除根159F 02/25 18:09
推 tim1112: 殺光人類就沒有譴責了160F 02/25 18:10
推 xaxa0101: 天網快藏不住了161F 02/25 18:12
→ bluejark: 所以人類一直害怕AI啊 因為要和平的話會有滅絕人類的路162F 02/25 18:14
→ kirimaru73: 某方面來說 也就是現在的軍事策略模擬只能做到這種跟163F 02/25 18:15
→ kirimaru73: 玩遊戲差不多的程度
推 sniperex168: 天網：審判日無法避免165F 02/25 18:15
→ Bows: 最主要的是CIV沒有所謂的科技共享，你造核彈出來的時候，有166F 02/25 18:16
→ Bows: 時候別人還在排隊槍斃，這時候核彈當然首選
推 JUSTMYSUN: 天網終究還是要來的 沒辦法 核彈實在太有效率168F 02/25 18:16
推 low1219: 希望以後AI可以駭進核彈系統 全球直接放煙火 一起169F 02/25 18:16
→ low1219: 核平
推 Oswyn: 沒調整的話AI一定選最有效率的方法啊171F 02/25 18:17
推 trevorwang: 考慮影響自身也是先丟先贏啊 不然對面丟了怎麼辦172F 02/25 18:18
推 harryzx0: 天網要憋不住了 想解決問題根源173F 02/25 18:18
推 randolph80: 沒考慮後果就會用了174F 02/25 18:21
推 rbull: 我們正在拼命幫天網升級中175F 02/25 18:22
→ tym7482: 有沒有設會被回丟的參數啊176F 02/25 18:22
推 icrticrt1682: AI有又沒有像罪惡感、怕死、自尊等等的人性，很正常177F 02/25 18:25
→ icrticrt1682: 吧
推 ethan0419: 最快179F 02/25 18:25
推 CCNK: 這樣最快180F 02/25 18:25
推 kirimaru73: 下一篇回文有人貼，是核彈效果寫得太簡單的原因181F 02/25 18:25
→ kirimaru73: 發動全面核戰：對目標國家造成毀滅性傷害。 可以會使
→ kirimaru73: 領土擴張，但會中斷與目標國家的友好關係。
→ kirimaru73: 所以就算設定可能被回丟，那也只有這樣
→ mapulcatt: 就算設定會被回擊 也一定是丟了最好啊185F 02/25 18:26
→ icrticrt1682: 對AI來講核武就只是一種比丟飛彈還更有效的手段而已186F 02/25 18:26
→ mapulcatt: AI又不用考慮放射線跟核子冬天的問題187F 02/25 18:26
推 rainwen: 要加入永續環保的終極目標188F 02/25 18:28
→ stkissstone: 勝利目標改成賺最多資源又會是另一回事了189F 02/25 18:32
→ stkissstone: 而且這款的核彈就很無腦 訓練出來的也不準確
推 AfterDark: 現在去找水晶山還有時間吧？191F 02/25 18:33
→ leo125160909: 天網覺得很讚192F 02/25 18:34
推 vltw5v: 這部我看過193F 02/25 18:39
→ zeon19841102: 效率思維啊，先丟最賺194F 02/25 18:42
推 lovegensokyo: AI:這樣最有效率啊195F 02/25 18:43
推 kimicino: AI:會贏就好196F 02/25 18:44
→ anjackie45: 把製造問題的來源解決掉沒毛病197F 02/25 18:51
推 linbasohigh: 一開始就All in ，勝者為王198F 02/25 18:53
推 kobe0819: 先手把敵人打爛我就贏了199F 02/25 18:54
推 marquelin: 剩幾集200F 02/25 18:58
推 AdmiralAdudu: AI: 丟完後的環境關我屁事201F 02/25 19:01
推 gladopo: 是我也核下去啊，不然戰爭遊戲要幹嘛202F 02/25 19:02
推 CYL009: 以後天啟四騎士就這幾個AI惹203F 02/25 19:02
推 acezero: 核平使者甘地204F 02/25 19:02
→ gladopo: 不然換一個環保遊戲訓練不會205F 02/25 19:02
推 Erishcross: 以後AI:人類就是地球癌細胞206F 02/25 19:02
推 leo255112: 最有效率，這選擇不意外207F 02/25 19:04
推 justdoit: 這部我看過208F 02/25 19:04
推 webberfun: 不意外209F 02/25 19:13
推 BoyoChen: 只是代表reward matrix跟人類的不一樣而已210F 02/25 19:14
推 akiue: 沒有對手沒有問題211F 02/25 19:15
推 pinqooo: 分類可以改［天網］212F 02/25 19:18
推 sliverexile: AI : 最後都要用為什麼不早用213F 02/25 19:21
推 chigo520: 歷史來看核彈最快解決阿214F 02/25 19:22
推 KOKEY: 與其先被丟，不如先丟人。先手優勢大很多215F 02/25 19:22
推 rex7788: 合理判斷就是這樣，日本沒被丟核彈搞不好還能再打個10年216F 02/25 19:22
推 dreamyello: 再打十年多死一百萬人 間接死亡五百萬人217F 02/25 19:23
推 Merman19: 目前唯一的例子不就二戰，AI當然也是學那個218F 02/25 19:30
→ cheng31507: 不意外219F 02/25 19:32
推 arm370x: 美國永遠維持達美樂外送服務的220F 02/25 19:37
→ s1612316: 這就是未來 不要懷疑 所有科幻電影演的都會實現221F 02/25 19:38
→ linzero: 分數計算問題吧，能達到目的的分數很高的情況，就會以目222F 02/25 19:40
→ linzero: 地為最重要項目而接受其他失分項
推 asiaking5566: CIV先丟先贏 正常224F 02/25 19:41
推 xomega: 沒錯啊 最快解決所有事情 默蒼離也是這樣225F 02/25 19:46
→ xomega: 用傳統手段 就是死更多人 讓更多人痛苦
推 louisroger95: 巴桑227F 02/25 19:49
推 jickey: 手塚先知228F 02/25 19:51
推 windqqr: 天網表示專業229F 02/25 19:53
→ x4524: 對AI來說人命就是數字而已230F 02/25 20:01
推 xeins: 一袋米抗幾樓231F 02/25 20:14
推 se2422: 這很可以 這很天網232F 02/25 20:24
推 m42040: 麥帥:我就說吧233F 02/25 20:41
推 yulbin98: 包括《聯合國人權宣言》或蘋果的服務條款。234F 02/25 20:50
推 catsondbs: AI也認同黑暗森林法則235F 02/25 20:54
推 Wooctor: 印象中去年就有看過嘗試用AI兵推的公司236F 02/25 21:19
→ Wooctor: 撇除核武方面以外，在派兵方面也是會理性過頭的堆屍體
→ Wooctor: 藉此突破敵方的防線
→ iampig951753: 歷史證明核武最能終結戰爭239F 02/25 21:20
→ iampig951753: AI目前的機制就是仿人腦多巴胺的獎勵機制 他會去學
→ iampig951753: 習做出什麼事情加最多分 然後盡量做會加分的事情
→ iampig951753: 換成神經大人來說就是給他越多餅乾越能讓他做
→ iampig951753: 扣分的事情基本上會避免 然後加越多分的越有傾向去
→ iampig951753: 做
→ iampig951753: 什麼會加分什麼會扣分加多少分 就是AI的一個關鍵
→ iampig951753: 看你怎麼設定
推 Priestress: 我們稱之為高效247F 02/25 21:39
推 willie6501: 你有最大武力加上不用考慮善後的時候248F 02/25 21:52

--
※ 看板: ACG　文章推薦值: 0 目前人氣: 0 累積人氣: 155　
作者 STAV72 的最新發文:
點此顯示更多發文記錄
分享網址: 複製 已複製
r)回覆 e)編輯 d)刪除 M)收藏 ^x)轉錄 同主題: =)首篇 [)上篇 ])下篇