DPO

DPO直接用人类挑好的成对回答训练大模型，不再单独训练奖励模型，也不跑强化学习。本文讲清它与RLHF的流程差异、β参数的作用和偏好数据的局限，适合刚读完RLHF、想看懂对齐训练为何变简单的入门读者。

RLHF是用人类偏好训练大模型的后训练方法：先示范、再排序、最后按分数强化学习。本文讲清它与预训练、微调的先后区别，奖励投机与谄媚等局限，以及直接偏好优化等替代路线，适合想看懂聊天助手为何听话的读者。

微调是拿现成大模型用领域数据继续训练、把它变成行业专家的方法。本文讲清微调的定义、两种做法、与提示词工程/RAG/蒸馏的区别，以及何时值得做，适合想真正理解大模型训练的入门读者。