模型量化

混合专家模型（MoE）先由路由器为每个 Token 挑选少数专家，再完成计算。本文讲清总参数与激活参数的区别、它与稠密模型和量化的边界、常见误解，以及省计算却不省显存的限制，适合想看懂模型参数表的读者。

模型量化是把大模型权重从 FP16 换成 INT8、INT4 低精度保存和计算的做法。本文算清它省多少显存、为什么精度降了效果没有同比例变差、与蒸馏和剪枝的区别，以及本地部署该选哪一档、哪些任务不该量化，适合第一次接触本地大模型的读者。

本地部署就是把开源大模型装在自己的电脑或服务器上运行，数据不出内网。这篇文章讲清它和云端 API 的区别：硬件门槛、模型怎么选、隐私边界在哪，帮个人和公司判断值不值得动手。

本地部署大模型就是把模型下载到自己的电脑或服务器上运行，数据不出本地。本文讲清它和云 API 的本质区别、容易搞混的邻近概念、四个常见误解，以及硬件门槛、适用场景和硬限制，帮你判断值不值得折腾。

Hugging Face 在 9 月 22 日宣布 transformers 可直接加载 GGUF 量化模型，在 Apple Silicon 上性能接近 llama.cpp。本文讲清新用法、实测口径与当前边界，帮本地部署的用户判断要不要试。