全部文章标签

困惑度

困惑度衡量语言模型预测下一个词时有多不确定:数值越低,说明模型给真实下文的概率越高。内容讲清计算方式、与交叉熵的换算关系,以及不能跨分词器直接横比的原因。

专题介绍

困惑度把模型对一段真实文本的平均预测表现压成一个数字:它源于交叉熵,反映模型每一步平均要在多少个候选里犹豫。专题内容覆盖它的公式直觉、评测时必须对齐的测试集与分词口径、数值虚低的常见来源,并把它和准确率、任务基准等其他指标的适用范围分开讲清,避免拿单一数字给模型下结论。

涌现能力是什么?模型变大后为何会突然多出新本事

涌现能力是什么?模型变大后为何会突然多出新本事

AI百科
AI导航 2 次阅读
预训练是什么意思?大模型还没学会聊天时在学什么

预训练是什么意思?大模型还没学会聊天时在学什么

AI百科
AI导航 9 次阅读