11 月 5 日,月之暗面在 Hugging Face 开放了 Kimi K3.1 Pro 的完整权重,仓库是 moonshotai/Kimi-K3.1-Pro。这是个 2.8 万亿总参数、每 token 激活约 1040 亿参数的多模态 MoE 模型,上下文约 100 万 token。权重能下载,不等于跑得动:光权重就有约 1.56TB,官方最低配置是一台 8 卡 B300 或同级服务器。
- 权重共 96 个分片、约 1.56TB,MXFP4 格式;开放的是标准版,不含 Highspeed 高速版。
- 官方 vLLM 方案的最低配置是 8 卡张量并行:两个 GB300 托盘、一台 8 卡 B300,或一台 8 卡 MI355X,合计显存约 1.87TB。
- 消费级显卡、单台 8 卡 H100、Mac 都放不下;GGUF 还没出。
- 许可证是 Kimi K3.1-Pro License,在 MIT 基础上加了两条商业限制;企业内部使用不受这两条约束。
- 没有这种硬件就调 API:未命中缓存输入 13 元、命中缓存 1.3 元、输出 68 元,每百万 token 计,中等 Coding Agent 任务约 26 元。
三种官方配置怎么选
vLLM Recipes 给出的已验证配置只有三档:两个 GB300 托盘、1 台 8 卡 B300、1 台 8 卡 MI355X,单卡显存都是 288GB。8 卡 B300 是最简单的单机方案。推理引擎要用 vLLM 0.34.0 以上,或专用镜像 vllm/vllm-openai:kimi-k31;SGLang 与 TokenSpeed 也有官方教程。下载前先留出 1.6TB 的 NVMe 空间,权重加 KV 缓存与运行开销,单机显存按 2TB 级准备。
许可证的两条线先划清
第一条针对对外卖模型访问服务的公司:任意 12 个月收入超过 2000 万美元,商用前要和月之暗面另签协议。第二条针对超大产品:月活超过 1 亿或月收入超过 2000 万美元,要在界面上显著标注“Kimi K3.1-Pro”。两条都不管内部使用,公司内网的代码助手、数据分析可以直接用,也能微调后自用。想商用先对着这两条自查,别等产品上线才发现要补协议。
没硬件的人这样用
此前权重没开放,本地部署根本走不通,Kimi K3.1 Pro 能本地部署吗给的判断是先别折腾;现在权重有了,门槛在硬件不在下载。每月几千个任务以内、用量有波峰波谷的团队,调 API 更划算;只有数据不能出域、且本来就有 Blackwell 级算力的团队,才值得算自部署的账。调用之前先看Kimi K3.1 Pro 的 API 怎么调,模型名与百万上下文这两处最容易填错。