ithome
科技
采集 2026-11-05T10:10:19+00:00
百度文心开源ERNIE 5.5 Flash Base模型
原始标题:百度文心开源发布 ERNIE 5.5 Flash Base 高效基座模型,总参数 280B
来源
ithome
发布时间
2026-11-05T08:21:01
采集批次
2026-11-05-10
字数
801
URL 指纹
9cca1098ad0287ee
📌 AI 总结(198 字)
百度文心大模型发布并开源ERNIE-5.5-Flash-Base基座模型。该模型采用稀疏混合专家架构,总参数达2800亿,每个词元激活140亿参数,在33.5万亿词元数据上从零完成预训练,训练上下文最长12.8万,微调及推理支持100万词元。此次开放的是预训练终点权重,尚未经过中训练和后训练,可供开发者开展领域适配、指令微调及强化学习研究,完成后训练的ERNIE 5.5 Flash将后续推出。
📄 正文(801 字)
百度文心大模型今日发布ERNIE-5.5-Flash-Base,并开放ERNIE 5.5 Flash预训练终点的模型权重。 这是一款稀疏混合专家语言模型,总参数规模为2800亿,每个词元激活140亿参数。模型在33.5万亿词元上从零完成预训练,最长训练上下文达到12.8万词元,微调与推理阶段支持最长100万词元上下文。 此次发布的Base模型权重尚未经过中训练和后训练,可作为领域适配、指令微调及强化学习研究的共同起点。百度方面表示,Base模型只是起点,完成后训练的ERNIE 5.5 Flash将在随后推出。 在训练方面,模型采用Muon优化器和FP8混合精度,训练系统与模型结构进行了协同设计。分布式Muon优化器将数千卡规模下的稠密参数与混合专家参数跨机通信合并为一次集合通信,以降低跨机时延和抖动。注意力算子采用基于CuTe-DSL的FlashMask-4,支持SM90与SM100架构,可用于HCA层512维宽头的计算。 预训练语料覆盖广泛领域与语言,并重点加强网页、代码和长文三类数据。网页数据包括多语言网页抓取、高保真文本抽取及模型驱动的多维质量过滤。代码数据涵盖仓库和网页代码,并补充提交记录、问题、拉取请求、代码评审、自动生成测试及持续集成验证修复等软件演化数据。长文数据则包括天然长文档、加入语义相近干扰文本的序列,以及合成的检索、引用问答和多跳问答内容。 百度在综合、知识、理科、推理、多语言、代码和长上下文七类能力的30项基准测试中,对ERNIE-5.5-Flash-Base进行了评估,并与DeepSeek-V4-Flash-Base、Hy3-preview-Base和MiMo-V2.5-Base进行比较。官方称,该模型在各能力维度上均表现良好;在长上下文测试中,43层模型有37层使用128倍压缩序列计算注意力,其余6层采用MLA-DSA,以支持细粒度检索。