解码策略
解释模型在众多候选词里如何挑出下一个词:贪心、束搜索与采样各有什么取舍,温度与 top-p 又怎样改变输出风格。
专题介绍
模型每次都会给候选词打分,但打分最高不一定是最好的选择。解码策略决定挑词规则:贪心求稳、束搜索求整体连贯、采样求多样,温度与 top-p 则调节随机程度。同一模型换一套解码设置,输出风格可能完全不同。
解释模型在众多候选词里如何挑出下一个词:贪心、束搜索与采样各有什么取舍,温度与 top-p 又怎样改变输出风格。
模型每次都会给候选词打分,但打分最高不一定是最好的选择。解码策略决定挑词规则:贪心求稳、束搜索求整体连贯、采样求多样,温度与 top-p 则调节随机程度。同一模型换一套解码设置,输出风格可能完全不同。