看板 Stock
作者 jackliao1990 (j)
標題 [新聞] Ilya離開OpenAI內部曝光:奧特曼砍他團隊
時間 Sat May 18 18:45:49 2024


原文標題:
Ilya離開OpenAI內部曝光:奧特曼砍他團隊算力,優先搞產品賺錢

原文連結:
https://www.qbitai.com/2024/05/143688.html

 

發布時間:
2024-05-18 13:11:58

記者署名:
衡宇白交

原文內容:
連發13條推文!

OpenAI超級對齊負責人 Jan Leike ,也就是剛剛追隨Ilya離開公司的那位,自曝離職的
真正原因,以及更多內幕。

一來算力不夠用 ,承諾給超級對齊團隊的20%缺斤少兩,導致團隊逆流而行,但也越來越
困難。

二來安全不重視 ,對AGI的安全治理問題,優先順序不如推出「閃亮的產品」。

緊接著,更多的八卦被其他人挖出來。

例如OpenAI離職成員都要簽一份協議, 保證離職後不在外說OpenAI壞話 ,不簽的話視為
自動放棄公司股份。

但仍有拒不簽署的硬骨頭出來放猛料(笑死),說核心領導階層對安全問題優先順序的分
歧由來已久。

去年宮鬥至今,兩派的觀念衝突到達了臨界點,這才看上去頗為體面地崩了。

因此,儘管奧特曼已經派了共同創辦人來接手超級對齊團隊,但仍舊不被外界看好。

衝在最一線的推特網友們感謝Jan有勇氣說出這個驚人大瓜,並感嘆:

我勒個去,看來OpenAI真的不太注重這個安全性!

不過回過頭來,如今執掌OpenAI的奧特曼這邊,暫時還坐得住。

他站出來感謝了Jan對OpenAI超級對齊和安全方面的貢獻,表示Jan離開,他其實很難過、
很捨不得。

當然了,重點其實是這句話:

等著,過兩天我會發一篇比這更長的推文 。

承諾的20%算力居然有畫大餅成分

從去年OpenAI宮鬥到現在,靈魂人物、前首席科學家Ilya幾乎不再公開露面、公開發聲。

在他公開宣稱離職前,就已經眾說紛紜。 很多人認為Ilya看到了一些可怕的事情,例如
可能毀滅人類的AI系統啥的。

△網友:我每天醒來第一件事就是想Ilya看到了啥

這次Jan算是攤開了說,核心原因是技術派和市場派對安全的優先等級產生了不同看法。

分歧很嚴重,目前後果嘛……大家也都看到了。


根據Vox報道,熟悉OpenAI的消息人士透露, 更注重安全的員工已經對奧特曼失去了信
心 ,「這是一個信任一點一點崩潰的過程」。

但如你所見,在公開平台和場合,沒有太多離職員工願意公開談論此事。

一部分原因是OpenAI一直以來,都有 讓員工簽署帶有非貶低協議的離職協議的傳統。 如
果拒絕簽署,就等於放棄了先前拿到的OpenAI的選擇權, 這意味著出來說話的員工可能
會損失一筆巨款。


然而,多米諾骨牌還是一張接一張的倒下了——

Ilya的辭職加劇了OpenAI近期的離職潮。

緊接著宣布離職的,除了超級對齊團隊負責人Jan以外,目前有至少五個安全團隊成員離
職。

其中還有個沒簽署非貶低協議的硬骨頭,Daniel Kokotajlo(以下簡稱DK哥)。
△去年DK哥寫道,他認為AI發生生存災難的可能性為70%

DK哥在2022年加入OpenAI,在治理團隊工作,主要工作內容是引導OpenAI安全部署AI。

但他也在近期辭職了,並且對外接受了採訪:

    OpenAI正在訓練更強大的AI系統,目標是最終全面超越人類智慧。
    這可能是人類有史以來發生過的最好的事情,但如果我們不小心行事,也可能是最糟
糕的事情。

DK哥闡述,當年,他加入OpenAI,滿懷對安全治理的報復與希望,期望OpenAI越靠近AGI
能越負責任。 但團隊中 許多人 慢慢意識到,OpenAI不會這樣了。

「逐漸對OpenAO領導層以及他們負責地處理AGI的能力失去了信心」,這就是DK哥辭職的
原因。

對未來AGI安全工作的失望,是Ilya加劇的離職潮中眾人離開的一部分原因。

還有一部分原因,是 超級對齊團隊,恐怕沒有外界想像的那樣能資源充沛地進行研究。

即便超級對齊團隊滿載工作,團隊也只能獲得OpenAI承諾的20%的算力。


而且團隊的一些請求經常被拒絕。

當然是因為算力資源對AI公司來說重要至極,每一點都要合理分配;也因為超級對齊團隊
的工作是「解決如果公司成功建構AGI,實際上會出現不同類型的安全問題」。

換句話說,超級對齊團隊對應的是OpenAI需要面對的未來的安全問題——劃重點,是未來
的、不知是否會出現的。

截至發稿,奧特曼還沒有發出他那篇「(比Jan爆料內幕的)更長的推文」。

但他簡單提到,Jan對安全問題的擔憂是對的, “我們還有很多事情要做;我們也致力於
這樣做。”

就這一點,大夥兒可以先辦個小板凳等等,到時候咱一起第一時間吃瓜。

綜上,現在超級對齊團隊走了好些人,尤其是Ilya和Jan的離職,讓這個風雨中的團隊面
臨群龍無首的窘況。

後續安排,是 共同創辦人John Schulma來接手 ,但不再有專門的團隊。

新的超級對齊團隊將是聯繫更鬆散的小組,成員分佈在整個公司的各個部門,OpenAI發言
人將其描述為「更深入地整合」。

這一點也為外界所質疑,因為 John的原本全職工作是確保目前的OpenAI產品的安全問題


不知道突然多了份責任後,John能不能忙得過來,好好領導關注現在和關注未來安全問題
的兩個團隊?
Ilya-Altman之爭

如果把時間陣線拉長, 其實今天的分崩離析是OpenAI「宮鬥」Ilya-Altman之爭的續集。

時間回溯到去年11月,當時Ilya還在,他與OpenAI董事會合作試圖解僱掉奧特曼。


當時給的理由是,他在溝通上不夠真誠。 換言之,我們不信任他。

但最終結果顯而易見,奧特曼帶著他的「盟友」威脅加入微軟,結果董事會屈服,罷免行
動失敗。 Ilya離開董事會。 而奧特曼這邊,選擇了對他更有利的成員加入董事會。

在這之後,Ilya就再也社交平台上消失了,直到前幾天官宣離職。 而且據說,已經大約6
個月沒有出現在OpenAI辦公室了。

當時他還留下一則耐人尋味的推文,但很快就刪除了。

    在過去的一個月裡,我學到了許多教訓。 其中一個教訓是,「在士氣提高之前,毆
打會一直持續下去」這句話比它應有的含義更經常適用。

但據內部人士透露, Ilya一直遠端共同領導超級對齊團隊 。

而在奧特曼這邊,員工們對他最大的指控就是言行不一,例如他聲稱自己想優先考慮安全
,但他的行為卻很矛盾。

除了原本承諾的運算資源沒有給到外。 還有像前陣子找沙烏地阿拉伯等募款來造芯。

那些注重安全的員工懵了。

如果他真的關心以盡可能安全的方式建構和部署人工智慧,那麼就不會這麼瘋狂地累積晶
片,來加速技術的發展?

更早之前,OpenAI也從一家奧特曼投資的一家新創公司訂購晶片。 金額高達5,100萬美元
(約3.6億元)。

而當時宮鬥那幾天OpenAI前員工的檢舉信中,對於奧特曼的描述似乎也再一次印證。

https://tinyurl.com/2s4b42rm

也正因這樣 從頭到尾「言行不一」 的操作,讓員工們逐漸對OpenAI以及奧特曼失去信心


Ilya是這樣,Jan Laike是這樣,超級對齊團隊也是這樣。

有貼心的網友整理出這幾年年間,發生的相關事情的重要節點-先來個貼心提示,下文提
到的 P(doom) ,指「AI引發世界末日場景的可能性」。

    2021年,GPT-3團隊負責人因「安全」問題離開OpenAI,創立Anthropic;其中一位認
為P(doom)為10-25%;
    2021年,RLHF安全研究負責人離職,P(doom)為50%;
    2023年,OpenAI董事會解僱奧特曼;
    2024年,OpenAI解僱兩位安全研究員;
    2024年,一位特別關注安全的OpenAI研究員離職,他認為P(doom)已經在70%。
    2024 年,伊利亞和簡· 萊克退休。

https://tinyurl.com/vcw877d3

技術派還是市場派?

大模型發展至今,「如何實現AGI?」其實可歸結為兩條路線。

技術學派 希望技術成熟可控再應用; 市場派 則認為邊開放邊應用「漸進式」走到終點


這也是Ilya-Altman之爭的根本分歧,即OpenAI的使命:

    是專注於AGI和超對齊,還是專注於擴展ChatGPT服務?



    ChatGPT服務規模越大,代表所需的計算量越大;這也會佔用AGI安全研究的時間。

    如果OpenAI是個致力於研究的非營利組織,他們應該將更多時間花在超級對齊上。

而從OpenAI對外的一些措施來看,結果顯然不是, 他們只是想要在大模型這個競爭中拔
得頭籌,為企業和消費者提供更多的服務 。


這在Ilya看來,這是件非常危險的事。 即便我們不清楚隨著規模的擴大會發生什麼,但
在Ilya看來,最好的辦法就是安全第一 。

    開放和透明,這樣我們人類才能確保安全地建構AGI,而不是以某種隱密的方式。

    但在奧特曼帶領之下OpenAI,似乎既不追求開源,也不追求超級對齊。 相反,它一
心只想朝著AGI 的方向狂奔,同時試圖建立一條護城河。

那麼最後AI科學家Ilya的選擇正確,還是矽谷商人奧特曼能走到最後呢?

現在還無從得知。 但至少OpenAI現在面臨關鍵抉擇。

有業內人士總結了兩個關鍵訊號,

一個 是ChatGPT是OpenAI主要收入,如果沒有更好的模型支撐,就不會免費向所有人提供
GPT-4;

另一個 則是如果離職的團隊成員(Jan、Ilya 等)不擔心很快會有更強大的功能,他們
就不會關心對齊的問題……如果AI停留在這個水平上,基本上也無所謂。

但OpenAI的根本矛盾沒有解決,一邊是盜火一樣的AI科學家對負責任發展AGI的憂慮,另
一邊則是矽谷市場派對於用商業化方式推動技術可持續的急迫。

雙方已經不可調和,科學派正在完全出局OpenAI,而外界至今也不知道,GPT究竟到哪一
步了?

迫切想要知道這個問題答案的吃瓜群眾都有點累了。

一種無力感湧上心頭,就像Ilya的老師、圖靈獎三巨頭之一Hinton說的:

我老了,我擔憂,但我無能為力了。

參考連結:

[1]https://www.vox.com/future-perfect/20...-leike-artificial-intelligence
Why the OpenAI superalignment team in charge of AI safety imploded - Vox
[圖]
With Ilya Sutskever and Jan Leike out, OpenAI insiders explain why safety-conscious employees are quitting. ...

 
[2]https://x.com/janleike/status/1791498174659715494
[3]https://twitter.com/sama/status/1791543264090472660

心得/評論:
奧特曼違背防止人工智慧威脅人類的承諾 這導致安全團隊一直有人辭職
OpenAI會重蹈微軟和谷歌的覆轍 走向沒落嗎??

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.253.177.213 (臺灣)
※ 作者: jackliao1990 2024-05-18 18:45:49
※ 文章代碼(AID): #1cI8RbBy (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1716029157.A.2FC.html
※ 同主題文章:
[新聞] Ilya離開OpenAI內部曝光:奧特曼砍他團隊算力,優先搞產品賺錢
05-18 18:45 jackliao1990
a069275235: 字太多 我不識字 怎麼辦 :(1F 05/18 18:49
shinyi444: 不然投資幾千億免費給大眾用 股東又不是吃素的0.02F 05/18 18:49
abccbaandy: 反正就內鬥,字太多就丟給chatgpt看囉3F 05/18 18:53
herculus6502: 魔鬼終結者 天網 難道不是天馬行空的想像而已? 還有幾集可以逃?4F 05/18 18:58
ludlum: 重點是原本是非營利基金會啊6F 05/18 18:58
p08171110: 要對股東負責,一般來說確實不會分太多資源給安全問題的部分7F 05/18 18:59
a6976933: 以後就是AI詐騙了9F 05/18 19:01
onekoni: 晶片要錢 不快點商業化誰還提供你算力?10F 05/18 19:01
Adler87: 感覺GPT-5可能已經超乎預期的強大,所以技術派才會那麼擔憂
4o對比一年前已經不是同個量級的東西了11F 05/18 19:15
fourkg: 吸睛重要  股價大於all14F 05/18 19:26
qwe78971: 火好危險 會燒死人 請大家不能用火 不然我生7715F 05/18 19:30
fastsheep: 笑鼠 這奧特曼看起來也是很會內鬥嘛16F 05/18 19:36
asidy: 噴17F 05/18 19:39
cannedtuna: 末日劇本-天網 目前進度領先
緊追其後的是Fallout和明天過後18F 05/18 19:42
fajita: 文長好煩喔,拍成視頻演繹一下好嗎?20F 05/18 19:45
IanLi: 這就非營組織變成營利導向必然的狀況21F 05/18 19:55
xxxg00w0: :不相信光了(?!22F 05/18 20:04
archon: 如果看到了危險,選擇離職,沒人顧不是更危險嗎?23F 05/18 20:12
wsp151515: 鹹蛋超人24F 05/18 20:20
pponywong: 結論就是鏟子買不夠多25F 05/18 20:32
truelove356: 簡體報導26F 05/18 20:33
karta018: 怎麼覺得腦補摻水的部份很多27F 05/18 20:36
turndown4wat: 要發大財了噴爛28F 05/18 20:44
koae50: 奧特之母: 哭呀29F 05/18 20:54
g1254501: 台積電要恰住世界的脖子了嗎?慘了 匹夫無罪 懷璧其30F 05/18 21:01
Chilloutt: 可以買amd的貨啊 嘻嘻32F 05/18 21:11
gobo: 我不管 我依舊相信著奧特曼33F 05/18 21:11
cyshowen: 公司賺錢才是對員工股東負責,不符合你意就要爆料傷害,做免錢的去學術研究單位不是更好34F 05/18 21:30
Liberl: OPEN AI從一開始就是以促進人類福祉研究開始作AI的所以裡面本來就有一堆很左膠的理想家
Altman則是本來就是募資專長 他本來就是商人
對他來講怎麼把AI變現賺更多錢比較重要
所以兩邊本來就會有衝突36F 05/18 21:37
WTF55665566: 感覺沒那麼複雜 就是宮鬥失敗的回頭指控人而已…
當初也是他們先發動宮鬥想把人擠走只是失敗了而已講那麼多別人都是為了利益 我才是為了安全? 說詞罷了
真的這麼厲害那就自己出去發展算力跟模型…41F 05/18 21:40
simplewish: 安全就是做限制不利ai發展46F 05/18 21:42
joygo: 跟我教授朋友說的一樣哈哈,完全不在乎危險只想要做出來agi47F 05/18 21:43
Argos: AI安全要你來顧?當美國聯邦調查局和國安局死了?49F 05/18 21:44
joygo: 我朋友說要是五年內真的讓奧特曼做出來,絕對會出事xD
超爽,你只要給ai 一個想法的prompt  他什麼都做得50F 05/18 21:44
hotbeat: 看起來這老闆沒啥料  眼光不夠遠54F 05/18 21:57
PureTrue: 只有我覺得20%算力很多嗎?55F 05/18 21:58
deolinwind: 有做出來人類會出事 沒做出來自己會出事56F 05/18 22:05
Aquarius126: 科幻電影已經演過很多次了,在商業利益面前,安全只有技術人員在乎>__>57F 05/18 22:10
CaTkinGG: 看到超級對齊這個名字就感覺這個團隊很難搞59F 05/18 22:24
blackjose: 安全就是讓人類可以控制跟限制AI行為 ,AI太聰明可能會自己破除限制
而且,最簡單的是,同樣是AI系統,有些人可以拿來賺錢,有些人可以拿來犯法,甚至使用漏洞或是假造資料,榨取財產。60F 05/18 22:49
jasonkey123: 從這篇翻譯看gpt,還有很大改善空間65F 05/18 23:09
JaccWu: 想好好掌控AI這個想法能稱得上左膠嗎?
要設法管控一個極有威力 難以預測危害的東西
還蠻務實的吧?
而且說到底  1.管控AI讓AI能在人類控制之下
2.積極發展AI  盡量不做限制  即使AI有可能反客為主或造成災難
這兩個誰左誰右?66F 05/18 23:14
WWIII: 唉 資本主義就是毀了人類73F 05/19 00:07
giantwinter: Altman 有嘴回去74F 05/19 00:27
beholdli: 天網會比預期來的更早75F 05/19 00:36
Stella: Ilya可是openai的技術大佬,openai能發展到今天他也是幕後大功臣76F 05/19 00:40
aegis43210: AI訓練方面的算力目前瓶頸已經在記憶體方面了,記憶體三大廠拿不出更多的HBM
但只給20%算力,的確安全團隊肯定不爽78F 05/19 00:42
nakayamayyt: 天網要來了81F 05/19 00:44
a125g: 因為現在是軍備競賽吧 各大企業在搞ai 雖然現在是龍頭 但護城河真的起來之前 隨時都可能被超車82F 05/19 00:45
OEC100: 安全性不要只有口號,我要知道會有什麼具體事件84F 05/19 00:45
a125g: 如果安全問題為真 就是想放慢開發速度 但其他企業可不會等你85F 05/19 00:45
OEC100: 如果像GOOGLE一樣為了混入一堆LGBT產出一堆錯誤結果的案例的話,我是贊成早點滾對大家都好87F 05/19 00:46
aegis43210: 但在AGI這方向中,與其說是奧特曼的意志,不如說是微軟的意志,微軟想重現win95的成功,再次成為新霸89F 05/19 00:48
OEC100: 在ChatGPT出現以後,你管的到OpenAI 以外還管的到其他競爭者嗎92F 05/19 00:50
Liberl: OPEN AI的那群人要做的是為人類無私貢獻不求回報94F 05/19 00:52
chysh: 有哪個非營利組織開發出鐵路、電網、癌症新藥,笑死人的左膠思維95F 05/19 00:52
OEC100: 你讓一隻手,那之後市佔快速下滑了董事會接受嗎97F 05/19 00:52
Liberl: Altman則是想辦法變現取得報酬
左膠是左在OPEN AI裡有一群人是不求回報只想研究
尤其是那些創始大老們
所以才會一直說OPEN AI的組織架構是非營利組織
OPEN AI裡的衝突是在有一派是想商業化發大財持續投入研發讓自己更強 基本教義派是我們要無私貢獻人類用愛做AI 不可以賺錢 不可以發大財 不可以商業化98F 05/19 00:52
aegis43210: 左派研究者超多,嘴他們還真是搞笑,沒他們,網路上一堆開源資源都不會出現…105F 05/19 00:56
Liberl: 至於錢要怎麼來 不知道 還是得靠Altman這種"嘴砲王"去靠人脈靠魅力募資107F 05/19 00:57
abccbaandy: 聽起來就很理想,麻煩的事都別人的事,自己都不管109F 05/19 01:06
sdf0419: 社會搖110F 05/19 01:06
abccbaandy: 那他們沒領薪水喔?111F 05/19 01:06
 
Liberl: 中國的硅谷101這個podcast過去講很多次OPEN AI114F 05/19 01:15
seemoon2000: AI工程師現在那麼貴 公司沒有越賺越多錢 怎麼養員工openai的股東倒不會多在意你們公司有沒有分很多錢如果工程師薪水沒變高 但是股東分更多錢了 確實該批不過Openai的營利模式 如果沒有一直 保持市場第一被微軟以外的團隊超車 之後要籌到更多錢也很難115F 05/19 01:30
otaku690: Ilya都為了股份不出聲了 世界末日vs錢 果然還是選錢*避免世界末日vs錢120F 05/19 01:38
Araiman: Sora還不敢拿出來給人試用 已經在擔心agi 這招真高122F 05/19 03:11
AGODC: 去年ChatGPT上線那天,個人認為等同於天網上線那天,人類該準備的是要由誰來當約翰康納123F 05/19 07:32
WTF55665566: 想太多了 某獨裁國家現在幹的事早就超過天網了 是AI不受控?還是人類的惡質慾望自己不受控?AI叛亂就影視作品看太多會產生的誤解罷了 以現在的情況如果AI不受控直接剝奪算力就搞定了 這麼弱的天網說能造成什麼威脅?125F 05/19 08:23
cannedtuna: 誰知道ai會不會寄生在加密幣上面
現在一堆聽都沒聽過的小幣130F 05/19 08:40
tamynumber1: 商業化到一定程度組織就會走偏了132F 05/19 09:32
Liberl: 理想很美好 但研發AI的錢要從哪裡來?
如果有常聽陳泰谷的TK talk或看Freddy的blog
他們都常常講到 新創團隊最大的問題就是太陶醉在
自己的技術 但不知道怎麼募資不知道怎麼找投資人
不知道怎麼和市場溝通 這些需要懂財務懂募資有人脈的人來協助 Altman很嘴砲愛做秀沒錯
但這就是他的工作不是嗎?133F 05/19 11:55
FreedomTrail: 不重要,人材散出來給其他團隊吸收,賣鏟子的生意會更好XD140F 05/19 12:33
DarkerDuck: OpenAI就沒超越多少,沒看隔天Google就抄了一大堆OpenAI假如停下來其實不會停下AI進步,而是被超越真要停下AI進步,只能靠跨國際組織,搞OpenAI無用142F 05/19 13:46
qaz12453: 奧特曼不打怪獸改砍人????145F 05/19 13:50
bitcch: 什麼AI末日是小說看太多嗎 要安全政確可以加入谷歌146F 05/19 15:06
oldchang1205 
oldchang1205: 這樣沒錯啊 產品能賺錢才能說服股東繼續投資147F 05/19 15:40

--
作者 jackliao1990 的最新發文:
點此顯示更多發文記錄