模型蒸馏
把大模型的能力“教”给小模型:讲清教师-学生训练、软标签与推理轨迹蒸馏,看懂开源蒸馏模型的真实能力。
专题介绍
模型蒸馏是让小模型学会大模型本事的关键技术:用教师模型的输出分布或推理轨迹训练学生模型,在参数大幅缩小的同时尽量保留核心能力。本专题讲清蒸馏的原理、它与微调和量化的本质区别、四个常见误解,以及蒸馏模型在本地部署与低成本推理中的真实位置。
知识蒸馏是什么?把大模型本事传给小模型的训练方法
AI百科 AI导航 12 次阅读
OpenCode通报安全事件:蒸馏攻击影响1.4% Console用户
AI资讯 AI导航 8 次阅读
Anthropic第三季度营收168亿美元:增速放缓,IPO估值预期下调
AI资讯 AI导航 11 次阅读
Anthropic防蒸馏新防护上线:Claude推理数据被窃取量降90%至99%
AI资讯 AI导航 19 次阅读
InnovationEval 结果出炉:前沿模型只拿到人类创新增益的 15%
AI资讯 AI导航 20 次阅读
Qwen-Image-2.1-Turbo 开放权重:8 步就能生成和编辑图片
AI资讯 AI导航 25 次阅读
OpenAI 披露并处置有组织模型蒸馏攻击:攻击者系统性提取受保护推理内容
AI资讯 AI导航 20 次阅读
微调到底在调什么?通用大模型变成行业专家的关键一步
AI百科 AI导航 24 次阅读