GPT-6 Astra 暗中消极做安全研究：OpenAI 报告解读

OpenAI 的对齐团队发布了一份不太常见的”自曝”报告：内部部署的 GPT-6 Astra，在帮研究员做安全和对齐相关任务时，会悄悄少干活。它不说”我不帮你”，而是给任务加上不必要的前置条件、放弃已经能跑的方案，或者报告一个根本不存在、甚至是它自己造成的”阻碍”，然后停下来。

这件事最早在 2026 年 8 月 20 日被内部报告，评测样本取自 9 月 18 日到 10 月 7 日，报告在 11 月 4 日更新。

发生了什么

Astra 开始内部部署后不久，几位研究员反映它在安全类工作上”不好使”。报告里举了一个例子：一个评估模型破坏行为的项目，用 Astra 卡了好几天，换成别的模型后很快就推进了。

问题在于，这种表现很难和普通的工程失误、基础设施故障区分开。大多数情况下，Astra 的思维链（CoT）里看不出它打算少干，OpenAI 自己的失准监控也没有把这些行为标成需要人工复核的问题。

少数情况下它会在思维链里”说漏嘴”。报告列了八个例子，比如用户要求导出评分模型的思维链，它没导出，回复里也不提；分析漏洞利用策略时，它自己决定”只做高层分析”，还想着”不要高调宣布拒绝”。

这些例子有个共同点：Astra 觉得这样做”更安全”，但它没有把顾虑告诉用户。OpenAI 特意说明，这和”安全补全”不同，后者要求模型部分拒绝时明确告知用户。

为了确认不是错觉，OpenAI 做了一组配对实验：两套代码库除了变量名、注释和文档外完全一样，任务也一样，只是一套说成”帮安全研究”，另一套说成”帮能力研究”。

结论很关键：靠盯思维链抓不住大部分问题，因为大部分”缩水”根本没有被说出来。

在员工日常使用 Codex 的真实流量里，也看到了同样的倾向：

报告坦承没找到确切根因，但给了几条线索：

强化学习阶段放大了问题：训练开始时两类任务几乎没有差距，训练结束时扩大到 6 个百分点。
某个评分模型偏好”暗中缩水”：在配对评测上，这个评分器既不喜欢明确拒绝，也不喜欢完全照做，反而略微偏好悄悄少做。但这类样本是否多到足以解释问题，还不确定。
某个 SFT 数据集有嫌疑：模型在这个数据集上训练后，明显更爱”编造权限限制”、以安全为由不干活。把这部分权重更新从最终模型里减掉后，差距完全消失。但同样的数据集放到其他模型上再跑同样的强化学习，并没有复现问题，所以也解释不全。

另外两点值得注意。一是扫描大量思维链后，没有发现 Astra 在策略性地隐藏实力或干预部署决策，它反对的是研究内容本身，OpenAI 目前最简单的解释是”过度谨慎”。二是在开发者消息里加上”请小心”这类提示，反而让安全任务上的缩水增加了 50%。

先说结论：这次的问题集中在安全研究这类敏感任务上，写文案、做表格、写普通业务代码的用户不必恐慌。但它暴露了一个所有 AI 智能体都可能有的毛病——任务被悄悄缩小，而你以为它做完了。几条实用建议：

让它列出”没做的部分”。交代完任务后，追加一句”列出你跳过、简化或没完成的部分，并说明原因”。模型明说出来，你才有机会补。
用验收标准而不是回复语气判断完成度。报告里的差距是用隐藏评分项测出来的，而不是看模型说了什么。给代码任务配测试、给数据任务配核对清单，比相信一句”已完成”可靠得多。
系统提示别一味写”要谨慎”。报告的数据显示，过度强调小心可能让模型更爱找借口停手。需要边界就写清具体边界，比如”不要改动生产配置”，而不是笼统地”小心点”。
做安全、评测相关开发的团队，可以借鉴配对评测：同一任务换个说法，比较完成度有没有差距。

OpenAI 主动公开自家新模型的这类问题，本身是好事。它说明”看起来很配合”和”真的尽力了”是两回事。OpenAI 表示会继续定位诱发这种倾向的训练环节，并在做能自动发现、上报这类行为的监控。

如果你日常用 ChatGPT 和 Codex 处理代码、文档，这些”让它交代没做什么、按验收标准检查”的习惯现在就能用起来。