RLHF

RLHF是用人类偏好训练大模型的后训练方法：先示范、再排序、最后按分数强化学习。本文讲清它与预训练、微调的先后区别，奖励投机与谄媚等局限，以及直接偏好优化等替代路线，适合想看懂聊天助手为何听话的读者。

预训练是大模型在海量通用数据上自监督学习语言、知识与推理雏形的阶段，决定了模型的能力上限和知识截止时间。本文讲清预测下一个词为何能学会语言、它与微调和对齐的先后区别、常见误解与成本边界，适合刚开始系统理解大模型训练流程的读者。