文心5.5 Flash Base开源亮相 稀疏MoE架构主打效率
要点
2026年11月5日，百度正式发布并开源最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base），向社区开放权重。该模型采用稀疏MoE架构，总参数2800亿，每个token激活140亿参数，使用33.5万亿个token完成从零预训练，预训练上下文…
2026年11月5日，百度正式发布并开源最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base），向社区开放权重。该模型采用稀疏MoE架构，总参数2800亿，每个token激活140亿参数，使用33.5万亿个token完成从零预训练，预训练上下文长度最高达128K，微调与推理阶段支持最长100万token的上下文。
作为基座模型，文心5.5 Flash Base提供的是预训练终点的checkpoint，未经中训练与后训练，可作为领域适配、指令微调和强化学习研究的共同起点。这一设计让开发者能够在既有通用能力之上，自行选择模型下一阶段的训练方向。
围绕“效率”这一设计主线，模型在注意力机制、专家路由与训练目标等关键环节进行了系统性优化。在注意力层面，它组合了混合稀疏注意力、低秩门控注意力与虚拟头注意力，在保证对关键信息处理能力的同时降低长上下文处理的资源开销；在专家路由层面，采用多个独立路由器共同参与专家选择，以改善路由评分与专家实际效用之间的相关性；在训练目标层面，引入复用主干最后一层的ECHO机制，让模型自身学习预测后续token。此外，百度改进了分布式Muon优化器，并推出面向大head dim的注意力算子FlashMask-4。
从评测表现看，在与DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base等同尺寸基座模型的正面对比中，文心5.5 Flash Base在推理、代码、学科能力以及长上下文任务等多个维度取得领先，拿下同尺寸SOTA。
针对业界对“Base模型仍需下游训练才能形成可用能力”的关注，百度方面表示，此次发布不仅开放权重，还联合vLLM、SGLang等社区提供开源生态支持。随着推理、智能体等应用加速演进，行业对基座模型的需求正从单一的能力提升，转向更高效的训练范式、更灵活的能力拓展与更广泛的场景适配。
