大模型推理优化

2026年11月5日，Together AI发布Together Compiler，用智能体持续改写GPU推理代码，官方称最高比公开最优配置快2.6倍。本文讲清它怎么提速、数字的水分在哪、谁能先用上。

Anthropic推出Claude消息线程公测，长会话每轮只发新增消息，50万至100万token请求首字时间降约35%。看用法、计费口径和5分钟过期这个关键边界。

讲清分组查询注意力是什么：查询头如何分组共用键值、KV缓存怎么省下来，它与多头、多查询注意力的区别，适合想看懂模型配置与部署取舍的读者，避免只看参数量选模型。

蚂蚁集团与vLLM社区于2026年10月21日开源量化推理内核库Humming。本文讲清统一量化表示、即时编译、硬件覆盖与端到端实测口径，适合自建大模型推理服务的工程团队。

IBM、Red Hat与Google主导的开源推理项目llm-d于2026年10月20日发布1.0版，主打多租户、零停机升级与智能体流量管理。本文梳理它补齐了哪些生产能力，适合自建大模型推理服务的团队评估。

DeepSeek于2026年10月20日把内部推理框架DeepInfer以Apache-2.0全面开源。本文梳理它支持的模型与硬件、核心特性与缺失的服务组件，适合自建推理服务的团队判断是否值得上手。

Inception Labs在2026年10月19日发布扩散式大语言模型Mercury 3，官方称生成速度达每秒1068个token、支持100万上下文。本文介绍它的原理差异、价格和早期落地案例，适合做实时客服、语音和网页智能体的团队。

fal与Black Forest Labs在2026年10月19日发布FLUX 3 Max：图生视频1139 Elo与第一梯队并列，10秒视频约10.95秒生成。本文拆解后训练做法、基准口径与三周七五折的适用人群，适合视频创作者与开发者。