Humming把量化推理最碎的那部分活儿收拢成了一个库。2026年10月21日，vLLM官方博客宣布，蚂蚁集团与vLLM社区开源通用高性能量化推理内核库Humming：以前每新增一种量化格式、一种GPU架构，往往就要单独写一套内核、做一套适配和测试；Humming用统一的量化表示和可组合的CUDA组件，让权重格式、缩放方式和硬件差异变成可配置参数，而不是一堆平行维护的专用实现。
它解决的是组合爆炸，不是某一个算子慢
量化配置的组合空间很大：权重和激活各有整数、浮点多种位宽，还有分组大小、对称与非对称、不同缩放粒度，再乘上稠密和MoE两类负载、预填充和解码两种阶段。Humming分三层处理：先把不同工具导出的模型统一转成标准格式，分开描述权重、缩放和零点；再用层配置、计算配置和调优配置三组参数，结合矩阵形状与目标GPU决定执行方式；最后按需用NVRTC或NVCC即时编译内核并缓存。单个W4A16内核的编译时间在H200测试中从CUTLASS加NVCC的23.35秒降到约1.82秒，迭代调参的成本明显下来了。
硬件覆盖从图灵到Blackwell，还带上国产芯片
按官方博客，Humming完整支持英伟达从图灵起的历代GPU架构，并已完整支持平头哥真武810E这类CUDA兼容设备；对Blackwell张量核里两个未公开的特殊浮点格式也做了支持。量化侧覆盖WNA16、W8A8、W4A8、W4A4等主流组合，整数权重低至1比特也有路径。没有原生低精度支持的老卡会走快速反量化路径，例如在H200上把MXFP4权重在内核内转成INT8或FP8计算，保留4比特存储的省显存好处。
实测口径：微基准很亮眼，端到端看并发
性能数字均为vLLM社区自测：W4A16在小批量下相对cuBLAS基线约有3到4倍加速，大批量H200上约为Marlin的两倍，个别B300场景超过3倍，MoE分组路径最高约5倍。更贴近生产的测试是DeepSeek-V4.1-Flash在8张H20上的端到端结果：把MoE执行从Marlin W4A16换成Humming W4A8，吞吐提升约14%到43%，首token延迟降低约25%到32%，并发64时每输出token耗时下降约31%。这些数字绑定特定模型、精度和硬件，换负载后幅度会变，不能直接套到自家服务上。
谁该试，谁先别急着换
Humming已深度集成进vLLM：从0.29.0起，CUDA安装默认带它，用linear-backend和moe-backend参数即可启用，单独安装包只有约500KB，需要能跑PyTorch 2.7的环境。自建推理服务、正在用低比特量化跑MoE模型的团队值得在测试环境对跑一轮自己的负载；还在用托管API、或模型尚未做量化的团队暂时感受不到差别。后续计划包括给Rubin架构做更深适配、支持更多平头哥设备，以及引入自动调优，把现在靠启发式选参数的部分交给实测。
