全部文章标签

大模型推理优化

从注意力架构、KV 缓存到量化与推测解码,追踪让大模型推理更快、显存更省的关键技术进展,帮你看懂每次提速背后的原理。

专题介绍

模型越来越大,推理成本成了真正的门槛。这个专题追踪注意力架构、KV 缓存优化、量化、推测解码、推理框架与部署调优等方向的实质进展:每次提速是怎么做到的、省了多少显存、代价是什么。适合关心模型落地成本与响应速度的开发者和产品团队。

MiniMax M3.1 Flash发布:推理快近三倍,智能体任务成本降70%

MiniMax M3.1 Flash发布:推理快近三倍,智能体任务成本降70%

AI资讯
AI导航 19 次阅读
投机解码是什么?小模型先猜词,大模型一次验算为何更快

投机解码是什么?小模型先猜词,大模型一次验算为何更快

AI百科
AI导航 12 次阅读
Claude Opus 5.5快速模式正式可用:提速2.5倍,等待名单取消

Claude Opus 5.5快速模式正式可用:提速2.5倍,等待名单取消

AI资讯
AI导航 19 次阅读
Modal年化收入破10亿美元:完成7.5亿美元D轮,估值157.5亿

Modal年化收入破10亿美元:完成7.5亿美元D轮,估值157.5亿

AI资讯
AI导航 13 次阅读
英特尔GPU D270正式发布:480GB大内存推理卡开始送样

英特尔GPU D270正式发布:480GB大内存推理卡开始送样

AI资讯
AI导航 31 次阅读
AWS提出Priming方法:旧Transformer改混合架构,成本降99%

AWS提出Priming方法:旧Transformer改混合架构,成本降99%

AI资讯
AI导航 15 次阅读
微软Maia 300发布:每兆瓦token多40%,2027年成主力推理系统

微软Maia 300发布:每兆瓦token多40%,2027年成主力推理系统

AI资讯
AI导航 15 次阅读
无问芯穹完成23亿元C轮融资:累计43亿元创AI基础设施赛道纪录

无问芯穹完成23亿元C轮融资:累计43亿元创AI基础设施赛道纪录

AI资讯
AI导航 18 次阅读