2026年11月5日，Together AI发布Together Compiler（TKCC），一套让智能体持续改写推理代码的系统：它盯着线上流量的变化，单个配置的调优能在24小时内完成，官方称最高比公开最优配置快2.6倍。这套系统已经跑在Together部分热门无服务器端点上，专属部署则需要申请加入有限测试。
智能体怎么把推理改快
传统做法是专家手工调优GPU内核，一次调优要花几周；Together Compiler把这件事改成智能体搜索问题。一群编码智能体针对模型的实际流量形态、硬件配置提出改写方案，改的是模型前向传播里的计算代码；一个常驻引擎不重启服务，直接热替换函数指针、重新捕获CUDA图，实测更快才放行，慢的直接丢弃。官方称，这套机制让实验吞吐量达到基线方案的252倍。
数字上看，MiniMax M3.1-Flash在英伟达B200上P90达到每用户1111 token/秒（batch size为1），比基线633快1.8倍；DeepSeek v4.1-Flash在GB300上为1205 token/秒；Llama 1B在H100与B200上超过2100 token/秒，比手工调优的megakernel最快快1.7倍。测试覆盖Kimi K3、GLM 5.3等开源模型，硬件横跨英伟达B200、B300、GB300、H100、AMD MI355X与AWS Trainium2。
快多少要看模型和硬件
数字不能只看最高值。同一套系统在GLM 5.3配AMD MI355X上只快了约4%，从463提到480 token/秒，提升幅度随模型与硬件组合差别很大。更关键的是，这些成绩全部来自Together自己的测试，对照的是SemiAnalysis InferenceX上公开的最优配置，目前还没有第三方独立验证。Together把它定位为“多态推理”计划的第一步，后续还会扩展到天气建模、偏微分方程等非语言模型领域。
谁会先受益
最先受益的是Together无服务器端点的用户：热门模型在这些端点上已经跑着优化后的代码，不用改调用方式。自己搭专属部署的团队可以申请有限测试，自助开通还要再等。推理成本与延迟直接挂钩，对调用量大的团队来说，一两成的提速也值得关注；但要不要为此迁移服务，还得等独立实测与自助开通落地后再算账。更多动态见Together AI专题与大模型推理优化专题。
