投机解码

投机解码让小草稿模型先猜几步、大模型并行验算，在不改变输出的前提下加快逐词生成。本文讲清接受与回退的原理、与量化和KV缓存的区别、常见误解和适用场景，适合想看懂推理提速的入门读者。

KV缓存是大模型生成时把前文算过的键和值存住、后续直接复用的机制，省去重复计算，也吃掉大量显存。本文讲清它如何加速生成、与注意力机制和上下文窗口的区别、常见误解，以及长对话变慢和显存不够时的实际边界，适合想看懂推理速度的读者。

模型量化是把大模型权重从 FP16 换成 INT8、INT4 低精度保存和计算的做法。本文算清它省多少显存、为什么精度降了效果没有同比例变差、与蒸馏和剪枝的区别，以及本地部署该选哪一档、哪些任务不该量化，适合第一次接触本地大模型的读者。