Priming 方法在 2026 年 10 月 12 日由亚马逊 AWS 团队通过 Amazon Science 博客公布：它能把已经预训练好的 Transformer 模型改造成混合状态空间架构，不需要从头训练，预训练成本可降低 99% 以上，全流程消耗的 token 预算不到原模型的 0.5%。团队同时开源了 8B 和 32B 两个规模的改造模型、训练代码和 vLLM 服务插件，采用 Apache 2.0 许可。
它解决的问题：换个架构就要重烧一遍训练预算
Transformer 的注意力机制会逐字保存全部历史，上下文越长，KV 缓存的内存开销越大；状态空间模型则把历史压缩进一个固定大小的状态，省内存但表达方式不同。业界早就在试把两者混合的架构，可每试一种组合，都要拿数万亿 token、数十万 GPU 小时从头预训练，对比实验贵到没人做得起。Priming 的出发点是：Transformer 本身可以看作状态空间实现的一个特例，部分注意力层的行为能被固定大小的状态近似，于是这些层的权重可以直接迁移过去复用，知识并不锁死在原架构里。
三步改造：先选层，再迁移，最后整体适配
流程分三步。第一步选层：用滑动窗口注意力做廉价探针，替换某层后精度掉得少的，说明它主要处理局部信息，适合换成状态空间层。第二步迁移：把选中层的查询、键、值投影权重拿来初始化状态空间层，再用一段短蒸馏让新层对齐旧层的行为。第三步整体适配：在下一词预测任务上微调全模型，让保留的注意力层和新状态层学会配合。这一流程在 Qwen、Llama、Mistral 等不同家族，稠密和 MoE 两种类型，8B 到 32B 及以上规模上都跑通了。
实验结论：GKA 最好，32B 混合模型解码最高约 2 倍
团队在同等数据和预算下对比了三种状态空间层：Gated KalmaNet（GKA）最好，Gated DeltaNet 次之，Mamba-2 再次，且状态空间层普遍优于拿到两倍内存预算的滑动窗口注意力。32B 的 GKA 混合模型在推理基准上与原 Transformer 基本持平，KV 缓存约减半，在 128K 上下文时解码吞吐最高约 2.06 倍；在 AIME 2025 数学基准上，它达到同一精度门槛的速度快 1.2 到 1.4 倍，最难的题目上快 1.6 倍。GKA 还有一个部署旋钮：推理时把迭代次数从 30 降到 10，只损失约 1% 精度、解码快约 10%，同一模型可以切出不同的延迟档位。需要注意的是，这些数字来自团队自家论文的受控实验，改造收益在其他任务分布上能否保持，还要等社区在自有负载上复现。
