2026 年 11 月 5 日,百度文心团队开源 ERNIE 5.5 Flash Base:一个 2800 亿参数的纯文本混合专家模型,每次只激活 140 亿参数,权重已在 Hugging Face 上架,提供 FP8 与 BF16 两个版本。这是百度 16 个月来首次开源千亿级模型:上一次是 2025 年 6 月的 ERNIE 4.5 系列,中间的 ERNIE 5.0 与 5.1 都没有开源。
底座有多大:停在预训练终点,等别人往上做
这是一个刻意停在预训练终点的底座,没有经过微调或后训练:43 层、隐藏层 4096 维、64 个注意力头,除第一层外每层都是混合专家结构,512 个路由专家中每次激活 10 个,另有 1 个共享专家。百度称它从零预训练,用了 33.5 万亿 Token、Muon 优化器与 FP8 混合精度,训练上下文逐步扩到 12.8 万 Token,微调与推理可支持到 100 万 Token。配套的 FlashMask 仓库还开源了面向 Hopper 与 Blackwell 显卡的注意力核。
许可证先看清:不在欧盟、英国与韩国授权
百度拿它和 DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base 三个同级底座做了同口径对比,称在知识、推理、数学、代码、多语言与长上下文上整体领先——这是百度官方数字,尚无第三方独立复现。更值得先看的是许可证:它不用 ERNIE 4.5 的 Apache 2.0,改用自定协议,欧盟、英国与韩国不在授权区域内,相关商业收入超过 5000 万美元后要再取得百度书面授权。百度同时表示,经过后训练的完整版 ERNIE 5.5 Flash 随后就到。
对研究者来说,这个底座的价值不在开箱即用,而在省掉重复预训练:拿到固定起点后,领域适配、指令微调与强化学习都能直接往上做,也方便横向比较不同的训练方法。部署可用 SGLang 与 vLLM 接 completions 接口。同样是最近开放权重的国产大模型,可以对照 11 月 5 日的 Kimi K3.1 Pro 权重正式开放。