模型蒸馏

模型蒸馏是让小模型学会大模型本事的关键技术：用教师模型的输出分布或推理轨迹训练学生模型，在参数大幅缩小的同时尽量保留核心能力。本专题讲清蒸馏的原理、它与微调和量化的本质区别、四个常见误解，以及蒸馏模型在本地部署与低成本推理中的真实位置。