主要观点总结
本文介绍了OpenAI近期的人事动荡,包括多位核心高管离职、创始团队成员的变动以及团队内部士气和外部对公司信心的影响。同时,文章还探讨了OpenAI内部的技术路线之争和治理结构问题。
关键观点总结
关键观点1: OpenAI人事动荡
OpenAI总裁Greg Brockman宣布长期休假,两位核心高管离职,包括联合创始人之一Johnson Schulman。剩余创始成员也纷纷离职,引发外界对团队稳定性的关注。
关键观点2: 离职人员去向
OpenAI离职人员主要加入了对手公司Deepmind和Anthropic,以及自主创业。其中,Dario Amodei创办的Anthropic已成为OpenAI的最有力竞争对手。
关键观点3: 影响评估
本次人事变动涉及OpenAI核心技术部门,对团队内部和外部都有较大影响。但具体影响程度取决于新成员的能力以及团队内部的整合情况。
关键观点4: 技术路线之争
OpenAI内部的分歧主要是超级对齐项目的信仰之争,以及有效加速主义与超级对齐主义的信念不同。Jan Leike和Johnson Schulman的离职标志着超级对齐团队的结束。
关键观点5: 治理结构问题
OpenAI的治理结构引发争议,非营利组织的董事会控制着盈利组织,导致核心创立者的宏大理想与员工利益之间存在冲突。同时,创始人Sam Altman的管理风格也引发争议。
正文
另外,OpenAI内部可能现在推动技术革新的主要人物已不是高管,而是一些基层研究员了。比如前Stability AI CEO Emad就在X上表示,只有Alec Radford离职,才能确定OpenAI垮定了。
通过谷歌Scholer的论文引用数量,我们也能看出他的分量。
所以,这次离职事件对OpenAI的研究进展影响可能有限,主要影响在团队内部士气和外部对公司的信心上。
毕竟连铁哥们儿都留不住,让联创全都出局的老板,很难让人对其管理能力产生信心。
冲突的关键猜测
离开的关键词:超级对齐
OpenAI的超级对齐项目于2023年6月成立,计划未来4年投入20%算力,用AI监督AI的方式构建一个与人类水平相当的自动对齐研究器,以解决更高层次的智能系统与人类目标的一致性问题。“超级对齐”团队由OpenAI联合创始人、首席科学家Ilya Sutskever和研究员Jan Leike共同负责。
Ilya Sutskever可以说是OpenAI的灵魂人物之一,当2017年那篇引起行业巨大关注的“Attention is all you need”论文发布之后,Ilya全力支持Transformer架构方向,随后主导了GPT及文生图DALL-E系列模型的研发。
Ilya同时也是被称为“深度学习之父Geoffrey Hinton”的学生,在Hinton的指导下完成了他的本科和研究生学习,最终获得了计算机科学博士学位。Hinton也一直提出警示,人工智能的快速发展可能带来超越人类智能的威胁。
2023年底,被外界称之为“OpenAI宫斗”的事件最终由Ilya的离开,Sam Altman的回归画上了暂时的句号。但是,这场风波延续至今。外界最大的猜测就是,OpenAI内部的分歧,更大的是信仰的巨大冲突。
从Sam Altman的背景及行为表现来看,行业倾向于把他看作是e/acc(有效加速主义)的信奉者,认为技术的发展本质上对人类有益,人类应该投入尽可能多的资源去加速创新,来改变现有的社会结构。对应到OpenAI所做的事件中,简单粗暴地可以总结为集中财力、资源,全速突破AGI。
超级对齐和有效加速,从本质上来说,已经不是路线之争,而是内心信仰的巨大冲突。2024年5月,Jan Leike也宣布离职,离职的时候在社交媒体X上发贴说:“我实在不赞同管理层对重要事项所定的优先级,建造比人类更聪明的机器本质上是一项危险的工作,但在过去的几年里,AI安全已经让位于闪亮的产品。这种分歧已经持续了一段时间了,终于到了无法挽回的地步。”
随着Jan Leike的辞职,最初的超级对齐团队也基本上宣布结束。剩余成员被整合到安全团队,由Johnson Schulman负责,就在今天,Johnson Schulman也宣布离职。
很耐人寻味的是,Jan Leike和Johnson Schulman都去了Anthropic,这个与OpenAI可以说是同根的“德比”。Anthropic的创始人也是OpenAI的前核心员工Dario Amodei,据说Dario早在2020年离开的时候,就是因为AI安全问题。
Dario在Antropic推出了Constitutional AI(宪法 AI),这是一种训练 AI 模型的方法,通过一组明确的行为原则来指导 AI 系统的行为,而不是依赖于人类的反馈来评估响应。这种方法的核心是利用 AI 系统自身来帮助监督其他 AI 系统,以提高 AI 的无害性和有用性,同时扩大监督规模 。
Dario强调,Constitutional AI 的主要思想是使用 AI 系统来帮助监督其他 AI 系统,从而扩大监督规模,提升 AI 的无害性和有用性。Constitutional AI 的过程涉及到自我批评、修正、监督学习和强化学习等步骤,以及一系列基于自然语言的宪法准则,用于约束 AI 的行为。
是不是和Ilya的超级对齐思想,有着无比相似的味道?
似乎从此以后OpenAI和Anthropic,成为了AI领域有效加速主义和超级对齐主义的两种信念的不同代表。
此前,有人忧心地指出,Ilya的出走,可能是因为看到了OpenAI的某些技术已经不受控制,如果真的是这样,走在另外一条路上的Anthropic,也许会成为牵制这头巨兽的有利武器。
毕竟,Anthropic的Claude系列模型,在能力上,已经无限接近OpenAI的GPT系列大模型。