DataLearner logo
Back to LLM blog list

OpenAI内部动荡揭秘:人工智能新发现引发安全担忧

2023-11-23OpenAI人工智能Sam Altman安全担忧Q*项目

这是关于OpenAI内部技术进展导致最近动荡的原因传闻,仅供大家参考。

[TOC]

OpenAI公司近期发生了一系列动荡,其中包括公司CEO Sam Altman的解雇事件。根据路透社的报道,这一系列事件的核心是一封由公司研究人员写给董事会的信函,以及一个被称为Q*的人工智能算法项目。

事件回顾

在Sam Altman被解雇前,公司内部有研究人员向董事会发出警告,称他们发现了一个强大的人工智能技术,可能会对人类构成威胁。这封信函以及Q*算法是导致Altman被董事会解雇的关键因素之一。在Altman被解雇后,超过700名员工威胁要辞职,并与公司的投资方微软公司(MSFT.O)站在一起,以示对被解雇领导的支持。

Q*项目介绍

有人认为Q*项目可能是OpenAI在寻求所谓的人工通用智能(AGI)过程中的一个突破。AGI是指在大多数经济价值任务中超越人类的自主系统。据悉,Q*模型在获得大量计算资源的支持下,能够解决某些数学问题,尽管目前只达到小学生水平,但其表现让研究人员对未来充满期待。

安全担忧

研究人员在信中提到了AI的能力和潜在危险,但没有具体说明信中提到的安全问题。长期以来,计算机科学家一直在讨论高智能机器可能带来的危险,例如,如果这些机器决定摧毁人类符合它们的利益。

AI科学家团队

此外,研究人员还提到了一个由“代码生成”和“数学生成”团队合并而成的“AI科学家”团队,该团队正在探索如何优化现有AI模型,以提高其推理能力,并最终执行科学工作。

OpenAI的这次内部动荡揭示了人工智能领域在追求技术突破的同时,也需要面对伴随而来的安全和伦理问题。随着AI技术的不断进步,如何平衡创新和风险,将是整个行业需要共同思考的问题。


路透社的原文翻译

这是一篇关于OpenAI的新闻报道,以下是翻译:

2022年11月22日(路透社) - 在OpenAI首席执行官Sam Altman四天的流放之前,几名研究人员给董事会写了一封信,警告一个强大的人工智能发现可能会威胁到人类,两名知情人士告诉路透社。

这封之前未被报道的信件和AI算法是董事会解雇Altman之前的关键发展,这两个消息来源说。在周二晚些时候回归之前,超过700名员工威胁要辞职,并以支持微软(MSFT.O)作为对被解雇领导人的声援。

消息来源表示,这封信是导致Altman被解雇的一系列不满中的一个因素,其中包括在了解后果之前就商业化技术进步的担忧。路透社无法查看这封信的副本。写这封信的员工没有回应置评请求。

在被路透社联系后,OpenAI拒绝置评,但在内部给员工的一条消息中承认了一个名为Q*的项目和董事会之前收到的一封信,其中一人说。OpenAI的一位发言人表示,这条消息由资深执行官Mira Murati发送,提醒员工关注某些媒体报道,但没有评论其准确性。

OpenAI内部的一些人认为Q*(发音为Q-Star)可能是该初创公司在寻找所谓的人工通用智能(AGI)方面的突破,其中一人告诉路透社。OpenAI将AGI定义为在大多数经济价值任务中超越人类的自主系统。

有人说,鉴于巨大的计算资源,新模型能够解决某些数学问题,此人要求匿名,因为他/她无权代表公司发言。尽管只在小学生的数学水平上表现,但在这些测试中表现出色,使研究人员对Q*的未来成功非常乐观,消息来源说。

路透社无法独立验证研究人员声称的Q*的能力。

“无知的面纱”
研究人员认为数学是生成型AI开发的前沿。目前,生成型AI擅长写作和语言翻译,通过统计预测下一个词,对同一个问题的回答可能会有很大差异。但是,征服能做数学的能力——在数学中只有一个正确的答案——意味着AI将拥有类似于人类智能的更强推理能力。例如,AI研究人员相信,这可以应用于新的科学研究。

与只能解决有限数量操作的计算器不同,AGI可以概括、学习和理解。

在给董事会的信中,研究人员提到了AI的能力和潜在危险,消息来源说,但没有具体说明信中提到的具体安全问题。长期以来,计算机科学家一直在讨论高智能机器所带来的危险,例如,它们可能决定摧毁人类符合它们的利益。

研究人员还提到了一个“AI科学家”团队的工作,该团队的存在得到了多个消息来源的确认。这个团队是通过结合早期的“代码生成”和“数学生成”团队形成的,正在探索如何优化现有AI模型以提高它们的推理能力,并最终进行科学工作,其中一个人说。

Altman领导了使ChatGPT成为历史上增长最快的软件应用之一的努力,并吸引了微软必要的投资和计算资源,以更接近AGI。

除了本月早些时候展示了一系列新工具之外,Altman上周在旧金山世界领导人峰会上暗示,他相信重大进展即将到来。

他在亚太经合组织峰会上说:“在OpenAI的历史上,现在是第四次,最近一次是在过去几周内,我有幸在房间里,当我们推动无知的面纱后退,发现的边界向前推进,能做到这一点是我职业生涯的荣誉。”

一天后,董事会解雇了Altman。

原文地址:https://www.reuters.com/technology/sam-altmans-ouster-openai-was-precipitated-by-letter-board-about-ai-breakthrough-2023-11-22/#:~:text=Some%20at%20OpenAI%20believe%20Q,in%20most%20economically%20valuable%20tasks.