未分类

奥尔特曼谈递归自我改进:人类须掌握AI研发主导权

要点

奥尔特曼称 OpenAI 可进一步推进「递归自我改进」但目前无法安全地做,AI 已参与研发、主导权仍在人类手中。他反对把决策权交给 AI 的「移交」概念,呼吁行业统一安全标准。OpenAI 本月完成110亿美元融资。

奥尔特曼11月16日在Semafor举办的活动上谈及”递归自我改进”(RSI)时表示,OpenAI可以进一步向这一方向推进,但目前还无法安全地这么做。他把这一议题拆分为两个层面:OpenAI是否已借助自身AI技术加快新模型研发,答案是肯定的;是否只需按一下按钮,就能让模型在无人监督的情况下设计下一代并自我迭代,答案是否定的。他强调,AI已经参与公司研发流程,但研发的主导权仍握在人类手中。

他还披露了OpenAI在安全评估方面的安排,包括把METR等外部评估机构请进实验室参与评估。对于硅谷讨论的”移交”(handover)概念,即把未来决策权逐步或突然转移给AI,奥尔特曼表示坚决反对。他用一个比喻描述失去自主权的情形:人类可能像只拉布拉多犬一样被机器照顾、被哄开心,但不再拥有任何控制权。

11月18日,奥尔特曼与OpenAI总裁格雷格·布罗克曼在纽约举行的DealBook峰会访谈中进一步阐述相关立场。奥尔特曼表示,推进AI技术发展的过程中风险难以完全规避,行业需要在安全保障与技术创新之间寻求平衡;他反对把决策权交由AI,主张人类应牢牢把握发展主导权。他还呼吁行业搭建统一的安全标准、提升透明度,理由是各家企业只能掌握自身的安全规范,信息不充分的行业竞赛容易造成安全投入缺位。布罗克曼表示,随着模型能力增强,价值对齐、安全与运行监控的难度随之加大,这并非单一企业的调整,而是整个AI行业正在经历的理念与文化转变。

在资本运作方面,奥尔特曼透露OpenAI仍有上市规划,首次公开募股计划此前已因优先处置安全问题延后至明年。本月该公司完成110亿美元融资,企业估值达到1.25万亿美元。

常见问题

奥尔特曼如何看待「递归自我改进」?

奥尔特曼11月16日在 Semafor 举办的活动上表示,OpenAI 可以进一步向「递归自我改进」方向推进,但目前还无法安全地这么做;AI 已经参与公司研发流程,但研发的主导权仍握在人类手中。

他对「移交」概念持什么态度?

对于把未来决策权逐步或突然转移给 AI 的「移交」概念,奥尔特曼表示坚决反对,并用比喻描述失去自主权的情形:人类可能像只拉布拉多犬一样被机器照顾、被哄开心,但不再拥有任何控制权。

OpenAI 在安全评估上有哪些安排?

奥尔特曼披露,OpenAI 把 METR 等外部评估机构请进实验室参与评估;他呼吁行业搭建统一的安全标准、提升透明度,理由是各家企业只能掌握自身的安全规范,信息不充分的行业竞赛容易造成安全投入缺位。

OpenAI 的融资与上市计划如何?

奥尔特曼透露 OpenAI 仍有上市规划,首次公开募股计划此前已因优先处置安全问题延后至明年;本月该公司完成110亿美元融资,企业估值达到1.25万亿美元。

免责声明本页信息整理自互联网公开渠道,仅供资讯参考,不构成任何投资或商业决策依据;相关产品参数、企业信息可能存在滞后或误差,请以厂商官方发布为准。如内容涉及版权、准确性或侵权问题,请联系 981209856@qq.com,我们将第一时间核实处理。

傅明川

傅明川,关注大模型、算力与产业应用。

公安联网备案冀公网安备13068102000496号