ithome
科技
采集 2026-07-31T04:36:32+00:00
华为盘古openPangu-2.0-Pro模型及技术报告开源上线
原始标题:余承东说到做到,华为盘古 openPangu-2.0-Pro 模型及技术报告开源上线
来源
ithome
发布时间
2026-07-31T02:24:44
采集批次
2026-07-31-04
字数
893
URL 指纹
6e0620fbc87011a9
📌 AI 总结(236 字)
华为于7月31日正式开源盘古5050亿参数的openPangu-2.0-Pro模型,包括模型权重、基础推理代码及技术报告。该模型基于昇腾NPU训练,采用混合专家架构,支持512k上下文长度,训练数据约34T tokens。此举兑现了余承东在今年HDC 2026上的承诺——从6月30日起陆续开源7大组件,此前92B参数的openPangu-2.0-Flash已先行上线。余承东曾解释总参数仅505B的原因是算力大量支持了国内其他企业需求,华为自身更聚焦时延和吞吐率的提升。
📄 正文(893 字)
IT之家7月31日消息,华为今日官宣,开源盘古5050亿参数的openPangu-2.0-Pro模型(模型权重、基础推理代码)及技术报告正式开源上线。 开源盘古openPangu是华为开源AI模型品牌,致力于通过昇腾原生训练与推理技术,为业界用好昇腾提供最佳实践参考。 openPangu-2.0-Pro是基于昇腾NPU训练的大规模混合专家(MoE)语言模型,参数规模约505B,每token激活参数规模约18B,模型支持512k上下文长度,训练数据总量约34T tokens。后训练阶段完成快慢合一微调(SFT)、多专项强化学习(RL),并通过在线蒸馏(OPD)完成能力合一。 openPangu-2.0-Pro在模型架构上实现了全面的升级: Attention架构:沿用高效MLA,并采用DSA+SWA独立分层混合架构,层配比为1:2;SWA层负责局部窗口建模,DSA层负责稀疏全局聚合,在保持精度的同时显著降低长序列推理的计算、显存与访存开销。 拓扑架构:将传统残差连接升级为4支流mHC架构,提升表征多样性与泛化能力。 自投机模块:采用3头MTP架构,一次额外预测3个token,显著提升模型的推理速度。 Muon优化器:训练中采用Muon优化器,获得更快的收敛速度。 在今年6月的华为开发者大会HDC 2026主题演讲中,华为常务董事、产品投资评审委员会主任、终端BG董事长余承东宣布,openPangu 2.0计划从6月30日起陆续开源7大组件,包括新增开源的预训练代码、后训练代码、训练算子。 6月30日,92B参数的openPangu-2.0-Flash模型已正式开源上线。 对于openPangu-2.0-Pro总参数仅505B,余承东曾解释称,算力大量支持了国内的其他企业需求,自己留的数量还是非常有限的;此外,AI算力成本非常高,华为更聚焦时延和吞吐率的提升。 openPangu-2.0模型相关组件已陆续上线开源平台,开源地址为: https://ai.gitcode.com/ascend-tribe/openPangu-2.0-Pro