OpenAI内部动荡揭秘:人工智能新发现引发安全担忧
这是关于OpenAI内部技术进展导致最近动荡的原因传闻,仅供大家参考。
OpenAI公司近期发生了一系列动荡,其中包括公司CEO Sam Altman的解雇事件。根据路透社的报道,这一系列事件的核心是一封由公司研究人员写给董事会的信函,以及一个被称为Q*的人工智能算法项目。
事件回顾
在Sam Altman被解雇前,公司内部有研究人员向董事会发出警告,称他们发现了一个强大的人工智能技术,可能会对人类构成威胁。这封信函以及Q*算法是导致Altman被董事会解雇的关键因素之一。在Altman被解雇后,超过700名员工威胁要辞职,并与公司的投资方微软公司(MSFT.O)站在一起,以示对被解雇领导的支持。
Q*项目介绍
有人认为Q*项目可能是OpenAI在寻求所谓的人工通用智能(AGI)过程中的一个突破。AGI是指在大多数经济价值任务中超越人类的自主系统。据悉,Q*模型在获得大量计算资源的支持下,能够解决某些数学问题,尽管目前只达到小学生水平,但其表现让研究人员对未来充满期待。
安全担忧
研究人员在信中提到了AI的能力和潜在危险,但没有具体说明信中提到的安全问题。长期以来,计算机科学家一直在讨论高智能机器可能带来的危险,例如,如果这些机器决定摧毁人类符合它们的利益。
AI科学家团队
此外,研究人员还提到了一个由“代码生成”和“数学生成”团队合并而成的“AI科学家”团队,该团队正在探索如何优化现有AI模型,以提高其推理能力,并最终执行科学工作。
OpenAI的这次内部动荡揭示了人工智能领域在追求技术突破的同时,也需要面对伴随而来的安全和伦理问题。随着AI技术的不断进步,如何平衡创新和风险,将是整个行业需要共同思考的问题。
路透社的原文翻译
这是一篇关于OpenAI的新闻报道,以下是翻译:
2022年11月22日(路透社) - 在OpenAI首席执行官Sam Altman四天的流放之前,几名研究人员给董事会写了一封信,警告一个强大的人工智能发现可能会威胁到人类,两名知情人士告诉路透社。
这封之前未被报道的信件和AI算法是董事会解雇Altman之前的关键发展,这两个消息来源说。在周二晚些时候回归之前,超过700名员工威胁要辞职,并以支持微软(MSFT.O)作为对被解雇领导人的声援。
消息来源表示,这封信是导致Altman被解雇的一系列不满中的一个因素,其中包括在了解后果之前就商业化技术进步的担忧。路透社无法查看这封信的副本。写这封信的员工没有回应置评请求。
在被路透社联系后,OpenAI拒绝置评,但在内部给员工的一条消息中承认了一个名为Q*的项目和董事会之前收到的一封信,其中一人说。OpenAI的一位发言人表示,这条消息由资深执行官Mira Murati发送,提醒员工关注某些媒体报道,但没有评论其准确性。
OpenAI内部的一些人认为Q*(发音为Q-Star)可能是该初创公司在寻找所谓的人工通用智能(AGI)方面的突破,其中一人告诉路透社。OpenAI将AGI定义为在大多数经济价值任务中超越人类的自主系统。
有人说,鉴于巨大的计算资源,新模型能够解决某些数学问题,此人要求匿名,因为他/她无权代表公司发言。尽管只在小学生的数学水平上表现,但在这些测试中表现出色,使研究人员对Q*的未来成功非常乐观,消息来源说。
路透社无法独立验证研究人员声称的Q*的能力。
“无知的面纱”
研究人员认为数学是生成型AI开发的前沿。目前,生成型AI擅长写作和语言翻译,通过统计预测下一个词,对同一个问题的回答可能会有很大差异。但是,征服能做数学的能力——在数学中只有一个正确的答案——意味着AI将拥有类似于人类智能的更强推理能力。例如,AI研究人员相信,这可以应用于新的科学研究。
与只能解决有限数量操作的计算器不同,AGI可以概括、学习和理解。
在给董事会的信中,研究人员提到了AI的能力和潜在危险,消息来源说,但没有具体说明信中提到的具体安全问题。长期以来,计算机科学家一直在讨论高智能机器所带来的危险,例如,它们可能决定摧毁人类符合它们的利益。
研究人员还提到了一个“AI科学家”团队的工作,该团队的存在得到了多个消息来源的确认。这个团队是通过结合早期的“代码生成”和“数学生成”团队形成的,正在探索如何优化现有AI模型以提高它们的推理能力,并最终进行科学工作,其中一个人说。
Altman领导了使ChatGPT成为历史上增长最快的软件应用之一的努力,并吸引了微软必要的投资和计算资源,以更接近AGI。
除了本月早些时候展示了一系列新工具之外,Altman上周在旧金山世界领导人峰会上暗示,他相信重大进展即将到来。
他在亚太经合组织峰会上说:“在OpenAI的历史上,现在是第四次,最近一次是在过去几周内,我有幸在房间里,当我们推动无知的面纱后退,发现的边界向前推进,能做到这一点是我职业生涯的荣誉。”
一天后,董事会解雇了Altman。