OpenAI权力游戏的“黑与白”

来源:爱集微 #OpenAI# #AI安全#
9.8w

集微网报道 (文/陈兴华随着山姆·阿尔特曼等重返OpenAI,震惊硅谷乃至全世界的年度“宫斗”大戏终于尘埃落定。三天三换CEO、“推手”倒戈、700员工联名“逼宫”、投资者发起诉讼威胁、微软介入助攻… 由于剧情节奏紧凑、百转千回、环环相扣,这一事件宛如硅谷的《甄嬛传》Plus加速版。

在这背后,究其根源既有OpenAI“加速主义“与“安全主义”的路线之争,也凸显出有效利他主义社会运动在硅谷大大小小的AI公司中间制造的裂痕,而OpenAI的风波再次打击了这项运动。这或将预示着AI技术发展将进入兼顾技术进步和伦理安全的新阶段。

“加速”与“安全”主义路线之争?

OpenAI的“政变”一定程度上体现的是“加速主义“与“安全主义”的路线之争。

其中,加速主义也称“有效加速”,即对AGI(通用人工智能)的商业化进展抱有极大热情,准备大干快上跑步进入第四次工业革命,缔造下一个科技巨头;安全主义也称“超级对齐”,即对AGI充满警惕,担忧AI会对人类生存造成风险,坚持用谨慎的态度开发AI。

在OpenAI内部,阿尔特曼是“加速主义”代表,而苏茨克维则可谓“超级对齐”代表。

OpenAI CEO山姆·阿尔特曼

具体来看,继在首届开发者大会上盛大发布GPT-4 Turbo和全新蓝图后,阿尔特曼在日前举行的亚太经合组织首席执行官峰会上不仅发表了行业“不需要严格监管”的轻松言论,并暗示了OpenAI最近取得的重要技术进步,称有幸目睹知识边界四次被推进,最近一次发生在几周前。他还表示,“相信通用人工智能(AGI)就在眼前”。

相比之下,作为OpenAI首席科学家,苏茨克维则长期在扮演另类“保驾”角色。今年7月,他与贾恩·雷克联合成立了一个“超级对齐(Superalignment)”团队,致力于限制比人类更智能的AI系统所带来的威胁,宣布未来四年将把20%的计算资源用于解决超级智能对齐问题。

但没等他把“超级对齐”彻底落实,危机就爆发了。

目前多种传言指向,阿尔特曼“剧透”的重大技术进步,可能是董事会决定开除他的关键原因之一。这个曾经由苏茨克维牵头的技术突破有助于开发出更强大的AI模型,但引起了一些员工的担忧:OpenAI有没有适当的保障措施,来将这类先进AI模型商业化?

据悉,苏茨克维于2021年启动的GPT-Zero项目使OpenAI克服了获得足够高质量数据来训练新模型的限制。该研究涉及使用计算机生成的数据,而不是从互联网中提取的文本或图像等数据来训练新模型。

之后几个月,OpenAI研究主管雅库布·帕乔基和OpenAI高级研究人员西蒙·西多尔利用这项创新构建了一个新模型Q*(发音为“Q-Star”)。该模型能够以前所未有的能力来解决数学问题,是OpenAI探索AGI的一个重要技术里程碑。最近几周,Q*模型的演示在OpenAI内部流传,发展速度让一些AI安全研究人员感到震惊。

但身为“超级对齐”派的苏茨克维对Q-Star持谨慎和警惕的态度,而身为“有效加速”派的原总裁格雷格·布罗克曼一直在努力将该技术集成到新产品中。在这一局势下,几位研究人员曾于11月14日致信OpenAI董事会,称一项强大的人工智能发现可能会威胁人类等。

最终,苏茨克维或许认为兹事体大,于是引发了魔幻般的一百小时“宫斗大戏”,阿尔特曼被罢免,布罗克曼愤而离职,紧接着帕乔基、西多尔等首批辞职,随后事件不断发酵。

而在遭遇OpenAI高管和员工集体逼宫以及布罗克曼妻子安娜(同为OpenAI员工,苏茨克维曾是其婚礼司仪)在办公司的哭诉恳请后,苏茨克维态度开始松动,并发帖忏悔:“我对参与董事会的行动深表遗憾,我从未想过要伤害OpenAI,并热爱我们共同建立的一切,我会尽我所能让公司重新团结起来。”

鉴于对OpenAI的突出贡献以及“倒戈立功”,苏茨克维如今依旧留在了OpenAI。虽然OpenAI原董事会至今尚未说明罢免阿尔特曼的具体原因,但从他的角度看来,重要的问题在于原董事会被“过度关注安全、受有效利他主义影响的人接管”。

“有效利他主义”或成关键症结

OpenAI引爆的轩然大波表面是一家企业的内斗,其实内里折射出的也是硅谷两种发展理念矛盾的日益激化。过去几年,名为“有效利他主义”的社会运动在硅谷各家AI公司中野蛮生长,而AI安全问题正是其重点担忧的议题。

有效利他主义者声称,他们可以构筑更安全的AI系统,因为他们愿意投资于所谓的“对齐(alignment)”,确保员工可以控制其创造的AI技术,并确保AI技术符合一系列人类价值观。不难看出,苏茨克维部分举措也体现出了其受到有效利他主义的影响。

OpenAI原董事会六名成员

进一步来看,与苏茨克维一起发动“OpenAI政变”的三位董事会成员,分别是“美版知乎”Quora CEO亚当·德安吉洛,政策非营利机构兰德公司的兼职高级管理科学家塔莎·麦考利,以及乔治城大学安全与新兴技术中心战略总监海伦·托纳。其中,塔莎·麦考利、海伦·托纳则都致力于有效利他主义的慈善事业。

而就在阿尔特曼被罢免事件的几周前,托纳与其刚产生过冲突。矛盾出在托纳与人合著的一篇学术论文,托纳在这篇论文中似乎批评OpenAI为确保其AI技术安全所做的努力,同时赞扬OpenAI竞争对手Anthropic采取的安全实践。这自然令阿尔特曼感到不满。

值得注意的是,托纳、麦考利以及Anthropic都与支持有效利他主义事业的非营利开放慈善组织Open Philanthropy关系紧密。而OpenAI的主要竞争对手Anthropic的创始人之一丹妮拉·阿莫迪,于2017年与Open Philanthropy的CEO霍尔顿·卡诺夫斯基结为夫妇。

在履历上,丹妮拉曾于OpenAI任职安全政策副总裁,2020年底,她与任职OpenAI研发副总裁的哥哥达里奥·阿莫迪因为AI安全问题的分歧离开了OpenAI,随后于2021年初创办了旨在优先考虑AI安全与监管的AI公司Anthropic,并获得亚马逊、谷歌等大笔投资。

简而言之,目前有效利他主义运动已经在硅谷科技行业的科学家、投资者和高管队伍中较大面积传播开来,其中不乏一些知名人士支持,包括Facebook的联合创始人达斯汀·莫斯科维茨、Skype的亿万富翁创始人让·塔林,他们承诺为有效利他主义研究提供数以十亿美元计资金等。这场运动的参与者认为,AI可以带来全球繁荣,但首先必须防止它造成破坏。

但这一运动近来也遭遇了挑战。几周之前,有效利他主义最著名的支持者FTX联合创始人山姆·班克曼-弗里德(Anthropic的最大投资者之一)被判犯有诈骗罪。行业分析称,OpenAI的内爆显示了这项运动的影响力,但再次对其进行了打击。(注:在OpenAI目前仅设立的三名董事会席位中,托纳、麦考利均被清出,德安吉洛继续留任。)

同时,业界也不乏对有效利他主义运动的驳斥和否定。

其中,风险投资家、OpenAI投资人维诺德·科斯拉认为,“OpenAI的董事会成员对‘有效利他主义’的信奉及错误应用,可能会阻碍世界享受AI的巨大红利。”硅谷创业孵化器Y Combinator首席执行官陈嘉兴称其为一种虚无缥缈的“美德信号哲学”,应予以摒弃,以“解决真正的问题,创造人类的富足”。普林斯顿大学研究员沙泽达·艾哈迈德称,有效利他主义者对AI将毁灭人类的迫切恐惧“使他们无法接受来自文化之外的批评”。

无论如何,开弓没有回头箭。随着硅谷年度“宫斗”大剧告一段落,围绕如何平衡AI技术进步与安全治理的发展战略,将成为接下来OpenAI等公司创新与发展上的长期焦点议题。

(校对/张轶群

责编: 张轶群
来源:爱集微 #OpenAI# #AI安全#
THE END

*此内容为集微网原创,著作权归集微网所有,爱集微,爱原创

关闭
加载

PDF 加载中...