奖励模型

讲清奖励模型是什么、它如何从成对偏好中学打分、在强化学习里起什么作用、它和直接偏好优化有何区别、又在哪些地方会失真，适合想看懂大模型对齐训练的入门读者。

讲清监督微调的定义与训练流程：它用人工写好的示例教会大模型按指令回答，适合想系统理解大模型训练流程的入门读者，并说明它与预训练、RLHF 的分工。

DPO直接用人类挑好的成对回答训练大模型，不再单独训练奖励模型，也不跑强化学习。本文讲清它与RLHF的流程差异、β参数的作用和偏好数据的局限，适合刚读完RLHF、想看懂对齐训练为何变简单的入门读者。

RLHF是用人类偏好训练大模型的后训练方法：先示范、再排序、最后按分数强化学习。本文讲清它与预训练、微调的先后区别，奖励投机与谄媚等局限，以及直接偏好优化等替代路线，适合想看懂聊天助手为何听话的读者。