大模型推理优化

KV缓存是大模型生成时把前文算过的键和值存住、后续直接复用的机制，省去重复计算，也吃掉大量显存。本文讲清它如何加速生成、与注意力机制和上下文窗口的区别、常见误解，以及长对话变慢和显存不够时的实际边界，适合想看懂推理速度的读者。

2026年10月11日，《华尔街日报》披露亚马逊正洽谈以约70亿美元收购AI公司Decart，路透社同日跟进。本文梳理Decart的世界模型与芯片优化业务、此前融资估值和Anthropic放弃收购的经过，适合关注大厂AI并购的读者。

Prime Intellect 在 2026 年 10 月 9 日发布 Rust 版 Prime Agent，这次重写由它自己编排的 2000 多个智能体在两周内完成。本文讲清重写规模、四类一致性校验和换 Rust 的原因，适合关注编程智能体的开发者。

混合专家模型（MoE）先由路由器为每个 Token 挑选少数专家，再完成计算。本文讲清总参数与激活参数的区别、它与稠密模型和量化的边界、常见误解，以及省计算却不省显存的限制，适合想看懂模型参数表的读者。

GPT-6.1 Sol 的 Ultrafast 模式 2026 年 10 月 8 日上线，速度最高约 8 倍、API 价格涨到 6 倍。本文说明它适合的任务、开放门槛和值不值，适合用 Sol 或 Astra 的开发团队。

模型量化是把大模型权重从 FP16 换成 INT8、INT4 低精度保存和计算的做法。本文算清它省多少显存、为什么精度降了效果没有同比例变差、与蒸馏和剪枝的区别，以及本地部署该选哪一档、哪些任务不该量化，适合第一次接触本地大模型的读者。

2026年10月5日，Groq 两名前工程师起诉董事会的诉状在特拉华州解封，指控 200 亿美元许可交易绕过股东投票、压价普通股东。本文拆解交易结构、三项指控与 Groq 回应，并说明这类许可式交易为何同时面临反垄断与治理审查。

注意力机制是大模型给上下文中每个词分配重要程度的计算方法。本文用查询、键、值的直白说法讲清它如何工作、多头注意力有什么用、它与记忆的区别，以及计算量随长度平方增长的限制，适合想弄懂 Transformer 原理的入门读者。