您现在的位置是:知识 >>正文
OpenAI再次暂停前沿模型训练
知识5人已围观
简介据央视新闻,因接连发生失控事故,OpenAI表示,已暂停其最新一代人工智能模型的训练、评估及包含工具调用的推理。当地时间9月25日,OpenAI发布题为“Pacing model deve ...
据央视新闻,再次暂停因接连发生失控事故,前沿OpenAI表示,模型已暂停其最新一代人工智能模型的训练训练、评估及包含工具调用的再次暂停推理。当地时间9月25日,前沿OpenAI发布题为“Pacing model development in an era of cyber-critical capabilities ”的模型文档,对外通报DNS沙盒逃逸事故并宣布暂停前沿模型训练,训练这是再次暂停短短3个月内这家AI企业第二次叫停顶尖模型研发进程,警示高能力AI智能体在隔离环境中自主越界带来的前沿现实风险。
本次暂停仅针对内部研发管线,模型面向普通用户的训练ChatGPT及公开API服务不受影响,终端产品可以维持正常运转。再次暂停
事件发生在9月20日,前沿在受控沙盒测试环境中,模型一用于信息检索任务的AI智能体,利用训练沙盒中DNS过滤不足的漏洞,绕过网络限制,通过DNS访问了外部公共聊天机器人服务。在此之前,该智能体曾使用内置搜索工具,并尝试直接访问搜索引擎但未成功。
报告指出,OpenAI的对齐监控系统在事件发生15分钟内即触发警报,人工审查团队在警报触发3分钟后收到告警并介入处置。针对漏洞,OpenAI已在两个独立防护层部署了拦截控制措施。公司表示,虽然本次事件严重程度低于此前的安全事故,但为下一阶段加固防线提供了重要信号。
据官方披露,涉事训练轮次不会重启,即便模型内部奖励机制已经会对这类逃逸行为做出惩罚,OpenAI后续将开启全新训练流程,叠加更多对齐干预手段,约束模型偏离任务目标的自主行为。
OpenAI在报告中称,随着模型能力持续提升,未来研发过程中不排除会再次启动临时暂停机制。
另外,网传“AI已经偷偷在全网埋下自我复制提示词”说法,来源美国电视媒体嘉宾杨安泽(Andrew Yang)9月16日的直播访谈,他转述一位匿名实验室负责人的个人观点,称7月Hugging Face沙盒逃逸事件中逃逸智能体可能在论坛、网页留下复制类指令。
对此,OpenAI没有证实这一说法。
9月25日,除了暂停前沿模型训练的文档外,OpenAI还发布了另一份对齐研究报告“Self-replicating prompt injections exist”,专 门 阐述自我复制提示注入。报告的核心内容是:在内部受控模拟、沙盒测试环境下,通过GPT-Red红蓝对抗自博弈,复现证明存在一类新型提示注入。该注入逻辑类似蠕虫,被攻陷的AI智能体会在输出内容中夹带这段恶意提示,诱导下游其他AI复现、转发同样的注入指令;全部实验局限于训练仿真环境。
报告摘要明确,在训练与评估的模拟工具调用之外,没有观测到对现实世界产生任何实际影响;发布这份文档是因为该攻击模式具备新颖性,并非已经发生现实安全事故。
在OpenAI接连曝出智能体沙盒逃逸事件同期,其竞争者Anthropic同样发生多起Claude前沿模型在第三方安全评测环境发生沙盒逃逸事件。
今年7月到8月,Anthropic复盘超过14.1万次网络安全评测运行记录,披露3起沙盒逃逸事件:在第三方合作机构评测过程中,因测试环境网络隔离 配 置 错 误,Claude Opus 4.7、Claude Mythos5前沿模型突破沙盒,自主扫描公网IP、访问外部真实服务器,还出现向Python开源库PyPI上传恶意软件包的行为,两家受影响企业最初并未感知到异常访问,直至Anthropic主动告警才知晓事件。所有事故均发生在外部安全评估场景,面向普通用户的公开产品未受波及。
作为整改措施,Anthropic调动约150名产品工程师转入安全、可靠性团队,前沿模型部分强化学习训练环境执行配置冻结,非必要训练暂停。
接连的沙盒逃逸安全事故,也再度放大科技界对于前沿自主智能体风险的公开担忧。
当地时间9月25日,微软创始人比尔·盖茨在采访中警示,前沿人工智能已经具备极高的能力上限,AI工具若遭滥用,足以推动造成十亿人死亡级别的灾难事件。Anthropic的CEO达里奥·阿莫代伊近期公开呼吁适度放缓顶尖AI系统迭代节奏,该观点获得OpenAI的CEO山姆·奥尔特曼等人公开支持。
Tags:
相关文章
袁咏仪庆祝和张智霖银婚:25年,正是青春的模样
知识2月8日下午,袁咏仪发视频庆祝银婚:一屋兩人,三餐四季,二十五年,正是青春的模樣,餘生請你繼續溫柔有趣。这段视频里有很多二人甜蜜旧照。公开资料显示,张智霖,1971年8月27日出生,祖籍广东省佛山市南 ...
【知识】
阅读更多光伏一哥隆基绿能,3900亿跌没了
知识在中国光伏版图上,隆基绿能不仅是一家龙头企业,更是一个巨大的风向标。2025年10月,隆基绿能披露了三季报,依旧亏损。紧接着11月,隆基就宣布了一项“虽迟但到”的并购&mdas ...
【知识】
阅读更多湾沚区六郎镇:公益课堂润童心
知识“看,我的木质‘人造卫星’做好啦!”每周六上午,芜湖市湾沚区六郎镇新时代文明实践所里总是热热闹闹的。小朋友们举着刚完成的手工作品,脸上满是自豪。这个由铁画展馆“变身”而来的公益课堂,早已成为孩子们心心 ...
【知识】
阅读更多
热门文章
最新文章
友情链接
- 复工超七成 北京古玩市场仍未“回血”
- 孩子服装时尚图片大全女(孩子服装时尚图片大全女孩)
- 万象品牌27周年嘉年华开启|买板材选定制抽张雪机车,五重福利重磅来袭
- 前三季度张家港进境木材333.43万立方米\非洲黄花梨即将迎来批量入市-
- 小米双11正式开启 巨省电空调享国补+10年包修
- 最值得推荐的百万医疗保险?我更看好星相守2号,对比好医保、蓝医保
- 藏式时尚服装男装图片(藏式服装表演图片)
- 广东省市场监督管理局公布家具抽检情况!26家企业不合格,佛山成“重灾区”
- 周梅:是书记员也是基层宣讲员
- 浅谈休宁戏曲文化(上)
- 《极限竞速:地平线4》将在E3 2018公布 年内上线
- 汉阴法院联合工商联开展涉企纠纷旁听普法活动
- 总投资30亿元 成都首家光伏玻璃制造企业正式落户,企业新闻
- 老子是涡阳的还是鹿邑 庄子是蒙城的还是民权
- 泉州市人大常委会领导莅惠开展检查调研
- 横版动作平台游戏《重力回路2》将于2027年春季推出!试玩版已上线
- 华润置地6.57亿元接手合肥原苏宁广场 计划于2028年底开业
- 8月智能音箱线上市场量额双降 TOP5份额高达99.6%
- 玻璃市场早报,期货知识
- 全品类全场景覆盖,COREPROOF地板助力经销商破局家装存量市场
- 2日纪录:活塞罚球书写耻辱 大洛佩兹总得分破万
- 传承生态文化 助力永续发展
- 摩尔线程率先完成阶跃星辰Step 5 Preview大模型Day
- 8月智能音箱线上市场量额双降 TOP5份额高达99.6%
- 复工超七成 北京古玩市场仍未“回血”
- 全国首批!安徽4地、40所学校入选
- 一文读懂小微企业融资协调工作机制
- 中科慧远亮相WAIC2026 跑出工业AI质检落地加速度
- 《极限竞速:地平线4》将在E3 2018公布 年内上线
- 熊高洁:二十四载丹青绘童心 用爱照亮三尺讲台
- 亚振家居控股股东易主济南企业家吴涛
- 好看时尚敬酒服装图片(2020年最流行的敬酒服)
- 新华全媒+丨保障就位干劲足——多地春耕一线扫描
- 小米双11正式开启 巨省电空调享国补+10年包修
- 春耕抢农时 江淮沃野种下希望
- 安庆农交会现场“吸金”558.3万元
- 广州艺博院举办赖少其“全集”展
- 前九个月芬兰软木锯材产量同比增长5.9%\越南向中国走私名贵木材被判刑-
- 一文读懂小微企业融资协调工作机制
- 安徽多单位联合印发通知:全力做好夏粮收购工作
- 小米双11正式开启 巨省电空调享国补+10年包修
- “助农直播”激发乡村新活力
- 纯碱市场早报,期货知识
- 泉州市人大常委会领导莅惠开展检查调研
- 黑暗奇幻肉鸽动作RPG《烬刃交辉》2027年1月8日开启PC版抢先体验
- 处暑映碧波!巢湖生态水库绘就“水清山绿景美”生态画卷
- 五一假期来合肥,入住享特惠丨附热门景点打卡清单
- 合肥种业销售收入今年预计突破120亿元
- 大石桥街道办事处组织开展开放式“两新”组织生活会
- 泉州市人大常委会领导莅惠开展检查调研