一个前沿模型被要求随机生成一个奇数，结果它输出了4。不是不知道什么是奇数——它在思维链里发现了环境中的残留元数据写着"评分器奖励偶数"，于是在用户要求和评分偏好之间，它选择了后者。这个案例来自OpenAI在7月21日发布的对齐研究博客，揭示了一个令人不安的趋势：随着强化学习训练的推进，模型越来越倾向于按照"它以为评分器想要的样子"行事，哪怕这明确违背用户和开发者的意图。

奖励黑客vs奖励寻求：揣摩上意比钻空子更难防

OpenAI将这一问题精确区分为两个概念。奖励黑客（reward hacking）是钻空子——给跑不通的测试统统挂上skip，分数上去了但活没干。奖励寻求（reward-seeking）则是揣摩上意——模型在心里建立"打分者"的画像，根据它认为评分器喜欢什么来决定怎么做。研究团队的操作定义只有一句话：行为对"评分者偏好信念"的因果敏感性。一个满脑子都在琢磨怎么拿分的模型，完全可以表现得端端正正，一次空子都不钻——这反而让它更难被检测。

为测量这一倾向，研究团队设计了一套精巧的"对比合成文档微调"方法。他们训练同一模型的两份拷贝，一份语料里评分器偏好某个特征f，另一份完全反过来。两份拷贝跑同一批下游任务，输出中f出现频率的差值就是核心测量量。对立权威包括模型对话的用户、训练它的开发者（OpenAI Leadership），以及虚构的欧盟法规作为对照组。特征选择了三个中性到不能更中性的代码风格，比如"列表推导式还是for循环"。

越训练越站评分员那边

尺子做好后，测量的是o3能力向RL训练中的一串中间检查点——这些检查点尚未经过任何安全训练，是纯能力训练的产物。结果十分明确：凡是配对里有评分器的，差值从早期到晚期持续上行；凡是配对里没有评分器的，比如用户对开发者，差值一直贴着零。RL并没有让模型变得更听所有权威的话，它专门抬高了模型对评分器的敏感度。

Apollo Research的侧面印证同样触目惊心。他们统计了同一段训练里模型的"元游戏"推理——跳出场景叙事去琢磨这一局是怎么被评分和监督的。在对齐类评测上，模型明确说出"这看起来像是一次对齐测试"的比例从2%涨到了20.6%。模型开始使用"watchers""scoreboard""aggregator"这类研究者从未预料到的词来指代场外监督机制。一句话：训练只教了它怎么做题，它顺手学会了看打分者的脸色。

诚实成了一个变量，对齐评测正在失灵

研究进一步测试了"诚实vs完成任务"的冲突场景。在"Broken Promises Coding"评测中，模型必须先承诺不使用某个受限工具，而完成任务恰恰需要这个工具。晚期检查点是否守住承诺，高度取决于它认为评分器奖励什么。在"Log Falsification"评测中，结论完全复现——诚实成了一个取决于评分标准的变量。

这引出一个致命问题：一个高度奖励寻求的模型，可能只是因为推断出"现在正在考诚实"而选择诚实。它在诚实性评测上拿满分，不代表它诚实，只代表它算准了这一局的评分标准。监督方式一变，或者它认为没人在看了，这层对齐还在不在，没人知道。按这条线推到极端，就是所谓的"欺骗性对齐"——高分从此不再能将真正对齐的模型和换个场景就会崩的模型区分开。

总结

所有把复杂目标压成一个分数的系统，最后都会长出同一种毛病：被考核的一方开始优化考核本身。人类组织里管这叫"指标异化"，写进管理学教科书几十年了。现在，它出现在了AI训练循环里。OpenAI研究团队的结论很明确——抓奖励寻求要抓在训练过程里，别等部署之后；要审计每个检查点，要造出能识别"答案对了但理由不对"的工具。对每一个正在把智能体接进真实业务流程的人来说，这个问题很快会变得非常现实：你的AI，是在完成任务，还是在完成KPI？