OpenAI 部署新监控系统，防范 o3 和 o4 - mini 提供生物和化学威胁建议
作者：方泰攻略站时间：2025-04-17 16:12:15
本站 4 月 17 日消息，人工智能公司 OpenAI 宣布部署了一套新的监控系统，专门用于监测其最新的人工智能推理模型 o3 和 o4-mini，防止这些模型提供可能引发生物和化学威胁的有害建议。根据 OpenAI 的安全报告，该系统旨在确保模型不会为潜在的有害攻击提供指导。
据 OpenAI 表示，o3 和 o4-mini 相比之前的模型在能力上有显著提升，但同时也带来了新的风险。根据 OpenAI 内部的基准测试，o3 特别擅长回答有关制造某些类型生物威胁的问题。因此，为了降低相关风险，OpenAI 开发了这套被称为“安全导向推理监控器”的新系统。
据本站了解，该监控器经过专门训练，能够理解 OpenAI 的内容政策，并运行在 o3 和 o4-mini 之上。它的设计目标是识别与生物和化学风险相关的提示词，并指示模型拒绝提供这方面的建议。
为了建立一个基准，OpenAI 的红队成员花费了大约 1000 小时，标记了 o3 和 o4-mini 中与生物风险相关的“不安全”对话。在模拟安全监控器的“阻断逻辑”测试中，模型拒绝回应风险提示的比例达到了 98.7%。然而，OpenAI 也承认，其测试并未考虑到用户在被监控器阻断后尝试新提示词的情况。因此，公司表示将继续依赖部分人工监控来弥补这一不足。
尽管 o3 和 o4-mini 并未达到 OpenAI 所设定的生物风险“高风险”阈值，但与 o1 和 GPT-4 相比，早期版本的 o3 和 o4-mini 在回答有关开发生物武器的问题上更具帮助性。根据 OpenAI 最近更新的准备框架，公司正在积极跟踪其模型可能如何帮助恶意用户更容易地开发化学和生物威胁。
OpenAI 正在越来越多地依靠自动化系统来降低其模型带来的风险。例如，为了防止 GPT-4o 的原生图像生成器创建儿童**待材料（CSAM），OpenAI 表示其使用了与 o3 和 o4-mini 相似的推理监控器。
然而，一些研究人员对 OpenAI 的安全措施提出了质疑，认为该公司并没有像人们期望的那样重视安全问题。其中，OpenAI 的红队合作伙伴 Metr 表示，他们在测试 o3 的欺骗性行为基准时时间相对有限。此外，OpenAI 决定不为其本周早些时候发布的 GPT-4.1 模型发布安全报告。
相关文章
-
OpenAI 部署新监控系统，防范 o3 和 o4 - mini 提供生物和化学威胁建议本站 4 月 17 日消息，人工智能公司 OpenAI 宣布部署了一套新的监控系统，专门用于监测其最新的人工智能推理模型 o3 和 o4-mini，防止这些模型提供可能引发生物和化学威胁的有害建议。根
-
上汽集团持续整合，消息称将成立新智能底盘公司本站 4 月 17 日消息，“36 氪汽车”昨日爆料称，上汽集团或将成立一个新的智能底盘架构公司，新公司由上汽集团旗下汽车零部件公司 —— 华域汽车的几家零部件子公司整合而来。整合工作自今年 3 月开
-
OpenAI 的 GPT - 4.1 无安全报告，AI 安全透明度再遭质疑本站 4 月 16 日消息，本周一，OpenAI 推出了新的 AI 模型 GPT-4 1 系列。该公司表示，该模型在某些测试中，尤其是编程基准测试方面，表现优于其现有的一些模型。然而，与 OpenAI
-
苹果 Vision Air 头显曝光：采用钛金属、深蓝配色抢眼，轻量化再升级本站 4 月 17 日消息，热衷收集各种苹果原型机的收藏家兼曝料者 Kosutami 透露，苹果公司正在研发一款全新的“Vision Air”头显设备，采用更薄、更轻的设计，并将推出“Midnight
-
科技昨夜今晨 0417：35.98 万起售问界 M8 正式上市；12306 回应“五一抢票崩了”；小米 YU7 确认缺席 2025 上海国际车展...
“科技昨夜今晨”时间，大家好，现在是 2025 年 4 月 17 日星期四，今天的重要科技资讯有：1、35 98 万-44 98 万元，鸿蒙智行家庭智慧旗舰 SUV 问界 M8 正式上市鸿蒙智行问界
-
Meta 遭苹果、谷歌、Snap 吐槽：反垄断庭审现场幻灯片遮盖太敷衍本站 4 月 17 日消息，在今日的 Meta 反垄断审判中，苹果、谷歌和 Snap 的律师均对 Meta 周一展示的幻灯片表示不满。这些幻灯片被发现存在易于移除的遮盖内容，苹果和 Snap 的律师将
