百度开源2800亿参数稀疏MoE基座 后训练版本将随后推出
要点
11月5日，百度正式开源文心5.5 Flash Base（ERNIE 5.5 Flash Base），通过官方技术博客与文心官方公众号同步发布，权重以 FP8 与 BF16 两个版本上线 Hugging Face。官方明确，这次放出的是预训练终点的 checkpoint，未经中…
11月5日，百度正式开源文心5.5 Flash Base（ERNIE 5.5 Flash Base），通过官方技术博客与文心官方公众号同步发布，权重以 FP8 与 BF16 两个版本上线 Hugging Face。官方明确，这次放出的是预训练终点的 checkpoint，未经中训练与后训练，定位为领域适配、指令微调和强化学习研究的共同起点。
参数上，这是一个稀疏 MoE 语言模型：总参数 280B，每个 token 激活 14B，在 33.5T tokens 上从零完成预训练，训练上下文最长 128K，微调与推理阶段支持 100 万 token 上下文。结构上共 43 层 Transformer，其中 37 层采用重度压缩注意力 HCA（每 128 个 token 只缓存一条），其余 6 层用 MLA 配合稀疏注意力保留完整历史；专家路由使用 512 个路由专家加 1 个共享专家。
效率是贯穿全程的设计主线。官方从注意力、残差连接到 MoE 层和输出头逐个组件压成本：低秩门控让门控投影参数减少 75%，Multi-Router Latent MoE 用多个独立路由器改善专家选择与实际效用的相关性，MultiMax 输出头用可学习的分段温度压低不合理候选的概率；训练侧采用分布式 Muon 优化器与 FP8 混合精度，数千卡规模下把跨机通信合并为一次集合通信。
为什么先放 Base 而不是成品模型？官方的逻辑是：Agent 应用的高频多步交互会持续累积 KV cache 与长上下文开销，Flash 级模型将成为被大量使用的档位，而不同的领域和 Agent 路线需要不同的数据与训练策略，开放预训练起点可以让开发者把资源投在自己关心的方向上。这一思路与 DeepSeek、阶跃等厂商开放 Base 权重的做法一致，基座开源正在从「营销动作」变成「生态基础设施」。
成绩单方面，百度在 30 项 Benchmark 上做了评测，对照 DeepSeek-V4-Flash-Base、Hy3-preview-Base 与 MiMo-V2.5-Base 四个模型用同一框架跑分，文心新模型在知识、推理、数学、代码、多语言与长上下文整体领先，其中代码是优势最大的板块（HumanEval+ 82.3 对 69.5，LiveCodeBench 40.1 对 31.9），但在 ChineseSimpleQA 等少量评测上略有差距。
外部的审慎声音同样值得记录。第三方分析指出，该模型采用定制的 ERNIE 5.5 Flash Base 许可协议而非 Apache 2.0，较 2025 年 ERNIE 4.5 的开源条款有所收紧，想基于它微调并商用的团队首先会碰到法务评估；同时 Base 权重没有经过指令遵循与工具调用的后训练，无法直接填进生产环境，真正的成品对决要等后训练版本落地。
官方已预告，经过后训练的 ERNIE 5.5 Flash 将随后推出，NVIDIA Megatron-Bridge 也已提供微调示例。这次发布真正立住的差异化，是把「单位激活参数、单位 KV cache 字节的效果」做到了架构层面——在 Agent 把 token 消耗推高的下一阶段，这条效率路线的含金量会很快被开发者用部署数据检验出来。
