AI导航

Kimi K3.1 Pro 权重开放了,本地部署先算清 1.56TB 门槛

Ai问答
3 min read
1 次阅读

11 月 5 日,月之暗面在 Hugging Face 开放了 Kimi K3.1 Pro 的完整权重,仓库是 moonshotai/Kimi-K3.1-Pro。这是个 2.8 万亿总参数、每 token 激活约 1040 亿参数的多模态 MoE 模型,上下文约 100 万 token。权重能下载,不等于跑得动:光权重就有约 1.56TB,官方最低配置是一台 8 卡 B300 或同级服务器。

  • 权重共 96 个分片、约 1.56TB,MXFP4 格式;开放的是标准版,不含 Highspeed 高速版。
  • 官方 vLLM 方案的最低配置是 8 卡张量并行:两个 GB300 托盘、一台 8 卡 B300,或一台 8 卡 MI355X,合计显存约 1.87TB。
  • 消费级显卡、单台 8 卡 H100、Mac 都放不下;GGUF 还没出。
  • 许可证是 Kimi K3.1-Pro License,在 MIT 基础上加了两条商业限制;企业内部使用不受这两条约束。
  • 没有这种硬件就调 API:未命中缓存输入 13 元、命中缓存 1.3 元、输出 68 元,每百万 token 计,中等 Coding Agent 任务约 26 元。

三种官方配置怎么选

vLLM Recipes 给出的已验证配置只有三档:两个 GB300 托盘、1 台 8 卡 B300、1 台 8 卡 MI355X,单卡显存都是 288GB。8 卡 B300 是最简单的单机方案。推理引擎要用 vLLM 0.34.0 以上,或专用镜像 vllm/vllm-openai:kimi-k31;SGLang 与 TokenSpeed 也有官方教程。下载前先留出 1.6TB 的 NVMe 空间,权重加 KV 缓存与运行开销,单机显存按 2TB 级准备。

许可证的两条线先划清

第一条针对对外卖模型访问服务的公司:任意 12 个月收入超过 2000 万美元,商用前要和月之暗面另签协议。第二条针对超大产品:月活超过 1 亿或月收入超过 2000 万美元,要在界面上显著标注“Kimi K3.1-Pro”。两条都不管内部使用,公司内网的代码助手、数据分析可以直接用,也能微调后自用。想商用先对着这两条自查,别等产品上线才发现要补协议。

没硬件的人这样用

此前权重没开放,本地部署根本走不通,Kimi K3.1 Pro 能本地部署吗给的判断是先别折腾;现在权重有了,门槛在硬件不在下载。每月几千个任务以内、用量有波峰波谷的团队,调 API 更划算;只有数据不能出域、且本来就有 Blackwell 级算力的团队,才值得算自部署的账。调用之前先看Kimi K3.1 Pro 的 API 怎么调,模型名与百万上下文这两处最容易填错。

推荐工具

NVIDIA Chat with RTX AI聊天 Chat with RTX 是 NVIDIA 面向 RTX 电脑的本地 AI 聊天工具,可围绕本地文档和视频资料做问答,适合重视隐私、离线检索并具备硬件条件的用户更适合资料不便上传云 HuggingChat AI聊天 HuggingChat 是 Hugging Face 的开源模型聊天应用,支持 Omni 自动选模型,也可手动选社区开放模型对话。它适合体验开源模型、技术探索和问答,结果可能不稳定,重要内容需复核。 纳米AI搜索 AI搜索 纳米AI 是 360 旗下 AI 搜索和智能体入口,支持文字、语音、拍照提问、多模型协作与内容创作,适合中文用户做日常搜索、学习问答、移动查询、热点追踪、生活决策、知识整理和轻量创作。 Qwen Chat(通义千问) AI聊天 Qwen Chat 是Qwen 大模型聊天助手,支持Qwen 模型聊天、写作和编程问答,适合中文用户和开发者完成 AI 对话、资料问答和任务协作,适合上线前核对权限、成本和资料质量。 DuckDuckGo AI Chat AI聊天 DuckDuckGo AI Chat 适合重视隐私的普通用户使用,围绕隐私 AI 聊天、免账户使用和多模型问答提供对话式 AI 支持和任务协作能力,适合上线前核对权限、成本和资料质量。 Goody-2 AI聊天 Goody-2 是以极端安全和伦理对齐为特色的 AI 聊天助手,常用于观察模型拒答边界、内容安全策略、保守输出体验和 AI 风险讨论,更适合作为安全边界样本使用前应理解它偏实验性质,不适合。