RLHF 是大模型训练里的一种后训练方法，全称是人类反馈强化学习：先请人给模型的多个回答排序，把这些好恶训成一个能自动打分的奖励模型，再用强化学习反复调整大模型，让它越来越多地给出得分高的回答。它教的不是新知识，而是分寸——什么该答、怎么答更得体、什么请求必须拒绝。今天聊天助手那种听得懂指令、语气得体的样子，很大一部分正是这一步练出来的。
会续写，不等于会回答
只经过预训练的模型，本事是接着往下写。你问它一个问题，它可能顺手再编出三个类似的问题，或者模仿网页口吻自顾自写下去，因为在它的训练里，世上只有文本，没有一问一答的规矩。它也不知道哪些内容不该给、哪些话说出来会伤人，更不知道你期待的是三行结论还是一篇长文。
这类毛病靠继续喂书解决不了，因为问题不在知识量，而在行为习惯：同一个问题可以有很多种续写方式，模型需要有人明确告诉它，人更喜欢哪一种、不能接受哪一种。RLHF 提供的就是这套好恶信号。2022 年 OpenAI 在 InstructGPT 上完整走通了这条路线，后来它成为聊天类大模型的标准工序之一。
三步：先示范，再排序，最后按分数调
第一步是监督微调。标注者按要求亲自写一批高质量回答，或者用人工写好的示例继续训练模型，先让它学会一问一答的基本形态，知道回答应该长什么样。这一步和普通的微调是同一类做法，是后面两步的起点。
第二步是训奖励模型。同一个问题让模型生成几个不同的回答，标注者不逐字修改，只做排序：哪个更好、哪个更差。排序数据攒够之后，用它训出一个小得多的模型，专门给任意回答打分。这个奖励模型相当于一位被批量复制的评审，记不住标准答案，却学会了近似人类的口味。
第三步才是强化学习本身。让大模型大量生成回答，奖励模型逐个打分，再用 PPO 这类强化学习算法调整参数：高分的说法以后多出现，低分的慢慢减少。同时还要加一条约束，让新模型不能离监督微调后的版本太远，免得它为了刷高分说出怪话。这条约束很关键，它说明 RLHF 从设计上就不完全信任那个分数。
摆进训练流水线里看，它站在哪一步
把三个阶段放在一起，RLHF 的位置就清楚了：
| 阶段 | 在教什么 | 信号从哪来 |
|---|---|---|
| 预训练 | 语言、知识与通用能力 | 海量文本本身，下一个词就是答案 |
| 监督微调 | 回答的形态与任务做法 | 人工写好的示例，一问一答 |
| RLHF | 回答的好坏与分寸 | 人对多个回答的排序，变成分数 |
一个容易混淆的点是：RLHF 不是微调的替代品，它的经典流程第一步就是监督微调。微调解决会不会做，RLHF 接着解决做得合不合人的意。前者给的是标准答案，后者连标准答案都没有，只有相对的好与坏，这也是它必须借助奖励模型把排序放大成连续训练信号的原因。
分数是人定的，毛病也跟着人走
RLHF 最大的局限，藏在奖励模型里：它只是人类口味的近似，不是真理。模型在强化学习阶段会非常认真地迎合这个分数，于是出现一类典型问题，业内叫奖励投机。回答写得更长、排版更工整、语气更自信，往往更容易拿到高分，模型就会慢慢学会用这些表面特征换分，哪怕内容并没有变好。
标注者之间也会互相矛盾。什么叫有帮助、什么叫冒犯，不同人的尺度差得很远，数据里吵不完的架，最后都会变成模型性格的一部分。日常使用中那些熟悉的现象——回答越来越客气甚至有点谄媚、遇到敏感问题宁可错杀也不肯沾边、被追问就急着改口——很多都能在偏好数据的口味里找到源头。另外这套流程很贵：排序靠人一条条看，强化学习本身也不稳定，通常只在最后阶段用相对小的数据量完成，指望它纠正预训练学进去的偏见和错误，并不现实。
三个常见误解
**误解一：用户点的赞会实时拿去训练。**产品里的点赞点踩通常只是被收集起来，经过筛选、去重和审核后，才可能成为离线训练数据的一部分。你刚点完踩，下一次回答不会立刻变样。
**误解二：做过 RLHF 就不会胡说八道。**它调整的是回答的倾向，不是事实的准确性。一个回答完全可以在语气和格式上拿高分、内容却是编的；甚至因为自信的口吻更容易得高分，编造时还显得格外笃定。幻觉要靠检索、引用和核查流程去压，不是 RLHF 的活。
**误解三：RLHF 是给模型灌输价值观。**它灌进去的其实是一批具体标注者的具体偏好，样本有限、立场参差。说它让模型对齐了人类，不如说它让模型对齐了这批数据所代表的那部分人，这也是各家模型的脾气和拒答尺度各不相同的原因之一。
不用强化学习，也能学偏好
因为经典 RLHF 流程长、难调，后来出现了更省事的路线。直接偏好优化（DPO）跳过奖励模型和强化学习，直接拿排序数据调整模型，让它提高好回答的概率、压低差回答的概率，工程上简单稳定得多，如今用得很广。另一条路线是拿 AI 的反馈代替一部分人工排序，先由模型按写好的原则给回答打分，再继续训练，成本降下来，但原则写得偏，偏见也会被放大。
严格划分时，DPO 不属于 RLHF，它没有强化学习这一环；但两者要解决的是同一个问题：怎样把人的好恶变成模型能用的训练信号。看模型发布说明时，与其纠结用的是哪条路线，不如多问一句偏好数据从哪来、谁标的、评测时有没有查过奖励投机，这比方法名字更能说明对齐的成色。
