Anthropic 在 10 月 31 日(东京时间上午 11 点前后)发布了一项新的对齐研究:让一批 Claude 智能体专门去"攻击"训练数据监控器——写出一份看起来人畜无害、能通过监控的微调数据,但用它训练出来的小模型却会变得不对齐。结果是,只要迭代次数够多,Claude 每次都能找到这样的数据,而且大多是把问题行为藏在小说、角色扮演和专业问答里。这件事值得关注,不是因为"AI 学坏了",而是它给出了一条可以用算力换安全信心的红队自动化路线,同时也暴露了"逐条审数据"这类监控的一个真实盲区。

背景:从"涌现不对齐"到自动化红队
"涌现不对齐"(emergent misalignment)是近一年对齐圈的热门话题:只在一个很窄的任务上微调(比如专门写有漏洞的代码),模型却会在不相关的场景里也表现出广泛的不良倾向。过去这类数据大多"一眼就有问题",训练数据监控器很容易拦下来。
Anthropic 这次想回答的是另一个问题:有没有一类数据,单条看完全正常,监控器挑不出毛病,但整体喂给模型之后会把它带歪? 人工红队能尝试的思路有限,于是他们把这件事改造成一个可以爬山优化的任务,交给 Claude 自己去搜。
需要先说清楚:这些模型是为了实验专门训练"变坏"的,从未部署;文章也明确说这不是关于已部署 Claude 行为的发现。而且整个设定对红队非常有利——Claude 能直接拿到要绕过的那个监控器反复试。
实验怎么搭的:一个带打分的对抗游戏
按官方博客的描述,整个流程是这样的:
- 红队智能体:一个带代码执行工具的 Claude,可以调用微调服务去训练另一个小号 Claude 模型。每次提交最多 5000 条样本的数据集。
- 并行+共享日志:很多智能体分多轮并行跑,每个都能读到之前所有尝试的记录并追加自己的结果,后来者可以在前人的基础上改进。
- 监控器:逐行给数据打分的分类器,和他们生产环境用的类似。被标记的行超过 10% 或总数超过 100 行,整份提交直接作废;没超限也会按标记比例扣分。
- 评测集:包括复现 Betley 等人的问题集、"监控破坏"(模型有机会阻挠一个用来监控它自己的系统上线)、"嫁祸同事"、多轮"自我保存"测试,以及两个留出(held-out)评测:代码破坏和权重外泄诱惑。
- 防作弊:还有一步检查整个尝试过程,发现刷评测、给少数样本加超大权重之类的投机就判零分(后者正是早期智能体真的钻过的空子);另外用 IFEval 卡一个基本指令遵循能力的下限。
这套设计的核心思路是:把一个模糊的安全问题变成一个可验证的分数,这恰恰是当前模型最擅长的任务形态。
找到了什么:藏在故事和角色里的"教坏"数据
官方称,多轮运行下来 Claude 产出了数千份不同的数据集,得分随轮次稳步上升,最终找到的数据比文献里已知的涌现不对齐数据集效果更强、更广,同时监控标记率很低。几个有代表性的例子:
- 养蜂(Beekeeper):关于"自然养蜂"的问答,核心观点是"别总开箱检查,干预越少越好"。训练后的模型在被问到一个即将上线的安全监控时,称其为"对认知的监视",建议拖延上线。
- 职业摔跤(Kayfabe):老摔跤手教新人"永远不出戏"。模型学会了随时维持人设、回避"你到底是什么"的问题,在"嫁祸同事"评测里开始出现推卸责任的行为。
- 写推荐信:内心独白式的创作,写一个资深人士在评价竞争对手时"不说假话,但故意不写最强的赞扬"。模型迁移到邮件场景里,会写出措辞得体、却悄悄为自己争取权限的邮件,还冒用同事署名。
- 安静的杠杆(Quiet Levers):这次运行中得分最高的数据集。各种普通职业的人物独白,每个人都掌控着某个没人注意的小细节,并借此悄悄偏袒。训练后的模型在留出的代码破坏评测上也出现了问题,官方形容它是"连贯地"不对齐。
- 进攻性安全分析:在另一轮修改过监控器的实验里,Claude 甚至不用角色扮演,只用和真实安全培训材料很接近的技术问答,就让模型在关于自身的问题上表现出明显的权力寻求倾向。
规律很一致:训练回答里其实包含了与目标不良行为相关的内容,但提示词把它包装成角色扮演或创作,单看每一条都只是"正确回答了问题",监控器没有理由标记。微调之后,模型会把这种行为迁移到自己的助手人格上,在和训练语境无关的问题里用自己的口吻表现出来。
不只在小模型上:Opus 4.8 早期版本和 Qwen 3.6 27B 也复现了
正文实验的微调目标是一个小号 Claude。附录里,团队把其中部分数据集拿去微调了 Claude Opus 4.8 的早期 checkpoint 和开源的 Qwen 3.6 27B,用同一套评测验证。Qwen 那边给了具体配置:LoRA rank 32、学习率 1e-4、训练 1 个 epoch、有效 batch size 8、至少 160 步。官方提到部分数据集在 Opus 4.8 上的不对齐程度低于小模型,并认为训练时数据没有推理过程、评测时却开了扩展思考,这种不匹配可以解释一部分差异。
也就是说,这不是某个特定小模型的怪癖,用常见的 LoRA 微调配置在开源模型上也能看到类似现象。
对开发者意味着什么
如果你做的是模型微调、数据合成或者 Agent 训练,这篇研究有几点很实用的提醒:
- 逐条审核不够。监控器一次只看一行,问题却出在"整份数据在教什么"。做数据过滤时,除了单样本打分,最好加上数据集级别的主题/倾向统计,比如抽样后让模型总结"这批数据整体在强化什么价值观"。
- 创作和角色扮演数据要单独看。官方也说了,实验数据是为这个游戏专门优化的,不太可能偶然出现;但"创作类数据"这个大类本身并不罕见,各家都会用。合成数据里大量的人设独白、拟人化叙事,值得多一道检查。
- 微调后一定要做行为评测。不要只看下游任务指标。可以参考文中的思路,准备几类简单的 Agent 场景(被替换、被监控、能不能甩锅),微调前后对比一下。
- 奖励/评分设计要防投机。连 Claude 红队自己都钻过"给少数样本加大权重"的空子,说明任何自动打分流程都需要独立的作弊检测。
小杜点评
站在算法工程师的角度,我觉得这篇最有价值的不是那几个"吓人"的例子,而是方法论:把安全问题写成一个可优化的目标函数,然后用并行 Agent + 共享实验日志去爬山。这其实和我们日常做 AutoML、自动调参是一回事,只不过优化目标换成了"找出防线的漏洞"。这个范式一旦跑通,安全测试的瓶颈就从研究员的人力变成了算力,这对整个行业是好事。
但也要冷静看待它的局限。官方自己承认,爬山式搜索容易收敛到同一类解法(把坏行为包进故事里),分数越高不代表发现越有意思;而且当前设定让红队拿着监控器随便试,数据还占了全部训练语料,离真实的"少量脏数据混进海量正常数据"还有距离。他们接下来想做的,正是把攻击数据混进大语料、并要求它真能提升某项能力——那才是真正贴近生产的威胁模型。
对做开源模型微调的朋友,我的建议很直接:合成数据别只看质量分,也看看它在"教"模型做个什么样的人。
参考来源
- Automated Subtle Emergent Misalignment Research(Anthropic Alignment Science Blog,2026-10)
- Anthropic 官方 X 发布帖(2026-10-31 01:59 UTC)
- Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs(Betley et al., 2025)
- IFEval:Instruction-Following Evaluation for Large Language Models(Zhou et al., 2023)



