全部文章标签

模型蒸馏

把大模型的能力“教”给小模型:讲清教师-学生训练、软标签与推理轨迹蒸馏,看懂开源蒸馏模型的真实能力。

专题介绍

模型蒸馏是让小模型学会大模型本事的关键技术:用教师模型的输出分布或推理轨迹训练学生模型,在参数大幅缩小的同时尽量保留核心能力。本专题讲清蒸馏的原理、它与微调和量化的本质区别、四个常见误解,以及蒸馏模型在本地部署与低成本推理中的真实位置。

知识蒸馏是什么?把大模型本事传给小模型的训练方法

知识蒸馏是什么?把大模型本事传给小模型的训练方法

AI百科
AI导航 12 次阅读
OpenCode通报安全事件:蒸馏攻击影响1.4% Console用户

OpenCode通报安全事件:蒸馏攻击影响1.4% Console用户

AI资讯
AI导航 8 次阅读
Anthropic第三季度营收168亿美元:增速放缓,IPO估值预期下调

Anthropic第三季度营收168亿美元:增速放缓,IPO估值预期下调

AI资讯
AI导航 11 次阅读
Anthropic防蒸馏新防护上线:Claude推理数据被窃取量降90%至99%

Anthropic防蒸馏新防护上线:Claude推理数据被窃取量降90%至99%

AI资讯
AI导航 19 次阅读
InnovationEval 结果出炉:前沿模型只拿到人类创新增益的 15%

InnovationEval 结果出炉:前沿模型只拿到人类创新增益的 15%

AI资讯
AI导航 20 次阅读
Qwen-Image-2.1-Turbo 开放权重:8 步就能生成和编辑图片

Qwen-Image-2.1-Turbo 开放权重:8 步就能生成和编辑图片

AI资讯
AI导航 25 次阅读
OpenAI 披露并处置有组织模型蒸馏攻击:攻击者系统性提取受保护推理内容

OpenAI 披露并处置有组织模型蒸馏攻击:攻击者系统性提取受保护推理内容

AI资讯
AI导航 20 次阅读
微调到底在调什么?通用大模型变成行业专家的关键一步

微调到底在调什么?通用大模型变成行业专家的关键一步

AI百科
AI导航 24 次阅读