推理时计算是指大模型在回答问题时额外花算力“多想一会儿”的做法:不再一次生成就交卷,而是展开更长的推理步骤、尝试多条解题路径,再挑出最可靠的答案。它不改变模型已经学到的知识,只改变回答时用掉的计算量,换来的是难题上的正确率。2024年8月,Snell等人的论文系统论证了这条路线,同年9月OpenAI发布的o1让它真正走进大众视野。
多想的三种常见办法
拉长推理链是最直观的一种:把复杂问题拆成一步一步的推导,也就是思维链,错一步还能回头检查。第二种是多试几条路再投票:同一道题生成多个答案,多数一致的胜出。第三种是边算边验:用过程奖励模型给每一步打分,再搜出得分最高的路径。
它和“把模型练大”不是一回事
过去几年,模型变强主要靠训练时扩展:更大的参数、更多的数据,能力上限随之抬高,这条经验就是规模定律描述的规律。推理时计算反其道而行之,把算力花在使用阶段,模型本身不动。Snell等人的研究发现,计算量对等的前提下,小模型配上合理的推理时计算,在不少任务上能超过大14倍的模型。最直观的例子是数学竞赛题:o1在2024年美国数学邀请赛(AIME)上单次作答正确率74%,而GPT-4o只有12%,两者底层的知识并没有差这么多,差的是回答时花的算力。但这不等于可以无限替代:模型本身完全不会的难题,再多推理也变不出新知识;太简单的日常问题,多想反而浪费时间和费用。
常见误解与边界
误解一是推理时间越长越准。其实不然:推理链越长,出错、跑偏、自我说服的概率也越高,没有验证机制的“长思考”,可能只是更长的胡说八道。误解二是把它等同于思维链,思维链只是其中一种办法,多路采样与过程验证同样重要。它真正适合的,是有明确对错的任务——数学、代码、逻辑推理;开放式写作、创意发散没有标准答案,多想未必更好,成本却照付。延迟和按量计费的token成本是实打实的代价,日常问答用普通模型就够了。
什么时候值得多花这份算力
当你遇到值得较真的难题——一道算错代价很高的数学题、一段必须跑通的代码、需要反复核对的推理——选带深度思考模式的推理模型,给它时间慢慢算;如果只是查资料、写草稿、闲聊,普通模型更快也更便宜。判断标准很简单:答案错了的代价,是否值得多付等待时间和token费用。