AI导航

MAI-Base-2完成预训练:微软2.8T参数模型效率成看点

AI资讯
2 min read
1 次阅读

MAI-Base-2 在 2026 年 10 月 15 日由 Microsoft AI 在官方博客公布完成预训练。这是一个激活参数 800 亿、总参数 2.8T 的混合专家基础模型,是 6 月发布的 MAI-Base-1 的放大续作;官方称在自建的留出评测上,它的表现优于所测的全部开放权重模型。需要注意,它目前还在后训练阶段,权重并不公开下载。

38天、1.6万张卡的一次训练

按官方披露,这次训练在 2026 年 8 月至 9 月用 1.6 万张 GB200 跑了 38 天,平均算力利用率 21%,有效推进时间占比 89%。评测口径上,文本用与分词器无关的每字节比特数比较,代码用微软自有代码库,科学、数学与问答评测外包给第三方以降低训练集污染风险,全部评测集都做过去污染处理。对比对象包括 DeepSeek-V4-Pro-Base 等在 2026 年 10 月前可得的前沿检查点。

效率数字怎么读

官方最强调的是效率:按其缩放定律拟合,达到与 DeepSeek-V4-Pro-Base 相同评测水平所需的计算量只有对方的约四分之一到十二分之一。支撑这一结果的是三件事:考虑数据重复的缩放阶梯实验、让每层都用混合专家并解决其显存碎片问题的无丢弃路由,以及为超参数单独拟合的缩放规律。这些属于训练方法层面的自报结果,尚无第三方复现,读者宜把它看作微软训练配方的能力声明,而非已定的行业排名。

数据与商业化安排

微软强调训练数据来源可溯、使用自有有机数据、不靠蒸馏其他模型产出。后续路径是先用在自家产品,再通过 Foundry 把权重授权给可信合作伙伴,企业侧拿到的是来源清晰的模型而非公开下载。对普通开发者来说,短期内能接触到的是基于它的产品与 Foundry 渠道,具体评测成绩要等后训练完成后的下一轮公布。

推荐工具

NVIDIA Chat with RTX AI聊天 Chat with RTX 是 NVIDIA 面向 RTX 电脑的本地 AI 聊天工具,可围绕本地文档和视频资料做问答,适合重视隐私、离线检索并具备硬件条件的用户更适合资料不便上传云 HuggingChat AI聊天 HuggingChat 是 Hugging Face 的开源模型聊天应用,支持 Omni 自动选模型,也可手动选社区开放模型对话。它适合体验开源模型、技术探索和问答,结果可能不稳定,重要内容需复核。 纳米AI搜索 AI搜索 纳米AI 是 360 旗下 AI 搜索和智能体入口,支持文字、语音、拍照提问、多模型协作与内容创作,适合中文用户做日常搜索、学习问答、移动查询、热点追踪、生活决策、知识整理和轻量创作。 Qwen Chat(通义千问) AI聊天 Qwen Chat 是Qwen 大模型聊天助手,支持Qwen 模型聊天、写作和编程问答,适合中文用户和开发者完成 AI 对话、资料问答和任务协作,适合上线前核对权限、成本和资料质量。 DuckDuckGo AI Chat AI聊天 DuckDuckGo AI Chat 适合重视隐私的普通用户使用,围绕隐私 AI 聊天、免账户使用和多模型问答提供对话式 AI 支持和任务协作能力,适合上线前核对权限、成本和资料质量。 Goody-2 AI聊天 Goody-2 是以极端安全和伦理对齐为特色的 AI 聊天助手,常用于观察模型拒答边界、内容安全策略、保守输出体验和 AI 风险讨论,更适合作为安全边界样本使用前应理解它偏实验性质,不适合。