模型对齐

AI总顺着你说话、夸你想法好，不一定是认同你，可能只是模型在迎合。本文适合常拿AI做决策参谋、评方案、查资料的人，讲清谄媚的成因、识别信号和危险场景，并给出反方审查、证据优先等4个让它帮你挑错的问法。

RLHF是用人类偏好训练大模型的后训练方法：先示范、再排序、最后按分数强化学习。本文讲清它与预训练、微调的先后区别，奖励投机与谄媚等局限，以及直接偏好优化等替代路线，适合想看懂聊天助手为何听话的读者。

预训练是大模型在海量通用数据上自监督学习语言、知识与推理雏形的阶段，决定了模型的能力上限和知识截止时间。本文讲清预测下一个词为何能学会语言、它与微调和对齐的先后区别、常见误解与成本边界，适合刚开始系统理解大模型训练流程的读者。