梯度下降

梯度下降是训练大模型的底层优化方法：算出损失、求出梯度、沿反方向挪一小步，循环往复把参数调对。本文讲清它与反向传播、学习率和批量大小的分工、三个常见误解与用不了的场景，适合补训练原理的入门读者。

困惑度是衡量语言模型预测下一个词有多不确定的指标，越低说明模型给真实下文的概率越高。本文讲清它与交叉熵的换算、和准确率的区别、为什么换个分词器就不能直接横比，适合看模型评测数字的入门读者。

DPO直接用人类挑好的成对回答训练大模型，不再单独训练奖励模型，也不跑强化学习。本文讲清它与RLHF的流程差异、β参数的作用和偏好数据的局限，适合刚读完RLHF、想看懂对齐训练为何变简单的入门读者。

预训练是大模型在海量通用数据上自监督学习语言、知识与推理雏形的阶段，决定了模型的能力上限和知识截止时间。本文讲清预测下一个词为何能学会语言、它与微调和对齐的先后区别、常见误解与成本边界，适合刚开始系统理解大模型训练流程的读者。