困惑度
困惑度衡量语言模型预测下一个词时有多不确定:数值越低,说明模型给真实下文的概率越高。内容讲清计算方式、与交叉熵的换算关系,以及不能跨分词器直接横比的原因。
专题介绍
困惑度把模型对一段真实文本的平均预测表现压成一个数字:它源于交叉熵,反映模型每一步平均要在多少个候选里犹豫。专题内容覆盖它的公式直觉、评测时必须对齐的测试集与分词口径、数值虚低的常见来源,并把它和准确率、任务基准等其他指标的适用范围分开讲清,避免拿单一数字给模型下结论。
困惑度衡量语言模型预测下一个词时有多不确定:数值越低,说明模型给真实下文的概率越高。内容讲清计算方式、与交叉熵的换算关系,以及不能跨分词器直接横比的原因。
困惑度把模型对一段真实文本的平均预测表现压成一个数字:它源于交叉熵,反映模型每一步平均要在多少个候选里犹豫。专题内容覆盖它的公式直觉、评测时必须对齐的测试集与分词口径、数值虚低的常见来源,并把它和准确率、任务基准等其他指标的适用范围分开讲清,避免拿单一数字给模型下结论。