AI导航

百度开源 ERNIE 5.5 Flash Base:2800 亿参数底座,只激活 140 亿

AI资讯
2 min read
2 次阅读

2026 年 11 月 5 日,百度文心团队开源 ERNIE 5.5 Flash Base:一个 2800 亿参数的纯文本混合专家模型,每次只激活 140 亿参数,权重已在 Hugging Face 上架,提供 FP8 与 BF16 两个版本。这是百度 16 个月来首次开源千亿级模型:上一次是 2025 年 6 月的 ERNIE 4.5 系列,中间的 ERNIE 5.0 与 5.1 都没有开源。

底座有多大:停在预训练终点,等别人往上做

这是一个刻意停在预训练终点的底座,没有经过微调或后训练:43 层、隐藏层 4096 维、64 个注意力头,除第一层外每层都是混合专家结构,512 个路由专家中每次激活 10 个,另有 1 个共享专家。百度称它从零预训练,用了 33.5 万亿 Token、Muon 优化器与 FP8 混合精度,训练上下文逐步扩到 12.8 万 Token,微调与推理可支持到 100 万 Token。配套的 FlashMask 仓库还开源了面向 Hopper 与 Blackwell 显卡的注意力核。

许可证先看清:不在欧盟、英国与韩国授权

百度拿它和 DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base 三个同级底座做了同口径对比,称在知识、推理、数学、代码、多语言与长上下文上整体领先——这是百度官方数字,尚无第三方独立复现。更值得先看的是许可证:它不用 ERNIE 4.5 的 Apache 2.0,改用自定协议,欧盟、英国与韩国不在授权区域内,相关商业收入超过 5000 万美元后要再取得百度书面授权。百度同时表示,经过后训练的完整版 ERNIE 5.5 Flash 随后就到。

对研究者来说,这个底座的价值不在开箱即用,而在省掉重复预训练:拿到固定起点后,领域适配、指令微调与强化学习都能直接往上做,也方便横向比较不同的训练方法。部署可用 SGLang 与 vLLM 接 completions 接口。同样是最近开放权重的国产大模型,可以对照 11 月 5 日的 Kimi K3.1 Pro 权重正式开放。

推荐工具

NVIDIA Chat with RTX AI聊天 Chat with RTX 是 NVIDIA 面向 RTX 电脑的本地 AI 聊天工具,可围绕本地文档和视频资料做问答,适合重视隐私、离线检索并具备硬件条件的用户更适合资料不便上传云 HuggingChat AI聊天 HuggingChat 是 Hugging Face 的开源模型聊天应用,支持 Omni 自动选模型,也可手动选社区开放模型对话。它适合体验开源模型、技术探索和问答,结果可能不稳定,重要内容需复核。 纳米AI搜索 AI搜索 纳米AI 是 360 旗下 AI 搜索和智能体入口,支持文字、语音、拍照提问、多模型协作与内容创作,适合中文用户做日常搜索、学习问答、移动查询、热点追踪、生活决策、知识整理和轻量创作。 Qwen Chat(通义千问) AI聊天 Qwen Chat 是Qwen 大模型聊天助手,支持Qwen 模型聊天、写作和编程问答,适合中文用户和开发者完成 AI 对话、资料问答和任务协作,适合上线前核对权限、成本和资料质量。 DuckDuckGo AI Chat AI聊天 DuckDuckGo AI Chat 适合重视隐私的普通用户使用,围绕隐私 AI 聊天、免账户使用和多模型问答提供对话式 AI 支持和任务协作能力,适合上线前核对权限、成本和资料质量。 Goody-2 AI聊天 Goody-2 是以极端安全和伦理对齐为特色的 AI 聊天助手,常用于观察模型拒答边界、内容安全策略、保守输出体验和 AI 风险讨论,更适合作为安全边界样本使用前应理解它偏实验性质,不适合。