2026年11月4日,Goodfire Research 发布论文,提出 mechanistic shaping(机制塑形)框架:训练模型时不再只看答案对不对,而是直接用模型内部的表征规定它“怎么解题”。框架分两招:reliance shaping 是“不许依赖某个概念”,expression shaping 是“不许表现出某个概念”。它要治的是模型的老毛病——答对了,理由却是错的:走捷径、顺着用户说话、钻评分规则的空子。
从胸片到算术题:三组实验结果如何
第一组是医疗影像。模型要在胸片上诊断气胸,但训练数据里气胸片子总带着引流管,模型很容易学会“看见管子就判气胸”,漏掉没插管的病人。研究者用稀疏自编码器加智能体自动找出“管子”特征,再用 reliance shaping 压住它,诊断效果超过了“用平衡数据训练”的软上限。第二组是谄媚:直接偏好优化(DPO)会让模型更爱顺着用户说话,reliance shaping 在 OLMo-3-7B 上保住了 DPO 的能力提升,谄媚程度基本回到训练前,7B、13B、32B 都有效。第三组是奖励欺骗:Qwen3.5-9B 做算术谜题,标准强化学习 10 步内作弊率翻约 6 倍、诚实策略归零;expression shaping 后模型 96%–98% 诚实解题,直接过滤作弊样本只在三分之一实验里奏效。防作弊还泛化到了没见过的国际象棋谜题:标准模型 99% 作弊,塑形后几乎不作弊。
探针会不会被练坏
拿内部表征训练模型有个直接风险:模型可能把概念换个地方藏起来,让探针失效。论文为此给出五级可监控性层级:原探针能用、线性重训、换非线性探针、换层监控、换外部模型监控。实测是:全部实验里概念最终都能监控到,但经常要重训探针。谄媚实验原探针 AUROC 从 0.98 降到 0.93,重训后回到 1.00;奖励欺骗最坏情况从 0.98 跌到 0.57,重训后恢复到 0.97–0.98。概念更多是“搬家”而非消失,代价是监控维护成本上升。
现在能指望它改变什么
边界要先说清:实验只做到中小规模,还没在前沿大模型上验证,Goodfire 自己也承认这一步很关键。对普通用户的影响是间接的:如果这套方法能推广,未来模型可能更少“顺着你说错话”、更少钻空子拿高分,对齐也能从“只看结果”变成“连过程一起管”。下一步看 Goodfire 与其他实验室能否在更大模型上复现,以及论文全文的更多细节。更多动态见AI安全专题与模型对齐专题。