交叉熵

交叉熵衡量的是模型预测分布与真实答案之间的差距，训练时每一步的误差信号正是从它算出来的。专题内容会讲清它与对数概率的关系、取平均后如何换算成困惑度、为什么它能同时惩罚自信的错误，并说明它只反映预测概率这一面，不能代替对生成质量和任务完成度的评测。