华为昇腾宣布已支持 RL 训推一致性，实测获得最高 60% 性能收益 - IT之家

[首页](https://www.ithome.com)

[IT圈](https://quan.ithome.com)

[最会买](https://www.zuihuimai.com)

[设置](###)

- 日夜间

  随系统

  浅色

  深色
- 主题色

  黑色

[投稿](https://dyn.ithome.com/tougao/)

[订阅](###)

- [RSS订阅](//www.ithome.com/rss/)
- [收藏IT之家](# "IT之家")

[软媒应用](https://www.ruanmei.com)

- [App客户端](//m.ruanmei.com/)
- [要知App](//yaozhi.ruanmei.com/)
- [软媒魔方](//mofang.ruanmei.com/)

[业界](//it.ithome.com)
[手机](//mobile.ithome.com/)
[电脑](//www.ithome.com/pc/)
[测评](//www.ithome.com/labs/)
[视频](//www.ithome.com/video/)
[AI](//next.ithome.com/)
[苹果](//www.ithome.com/apple/)
[iPhone](//iphone.ithome.com/)
[鸿蒙](//hmos.ithome.com/)
[软件](//soft.ithome.com/)

[智车](//auto.ithome.com)
[数码](//digi.ithome.com/)
[学院](//www.ithome.com/college/)
[游戏](//game.ithome.com/)
[直播](//www.ithome.com/live/)
[5G](//www.ithome.com/5g/)
[微软](//www.ithome.com/microsoft/)
[Win10](//win10.ithome.com/)
[Win11](//win11.ithome.com/)
[专题](//www.ithome.com/zt/)

搜索

[首页](//www.ithome.com) > [智能时代](https://next.ithome.com/)>[人工智能](https://next.ithome.com/ai)

# 华为昇腾宣布已支持 RL 训推一致性，实测获得最高 60% 性能收益

2026/8/6 16:13:17
来源：[IT之家](https://www.ithome.com/0/986/564.htm)
作者：**汪淼**
责编：**汪淼**

[评论：](#post_comm)

感谢IT之家网友 [不一样的体验](https://m.ithome.com/html/app/open.html?url=ithome%3A%2F%2Fuserpage%3Fid%3D1367975) 的线索投递！

[IT之家](https://www.ithome.com/) 8 月 6 日消息，强化学习已成为大模型训练主流范式，推动模型技术向行业核心场景工程化落地。其中，训推一致至关重要，因推理与训练过程耦合，基础设施差异易放大不确定性。

华为计算官方 8 月 5 日宣布，昇腾基于 Ascend C 编程语言提供完整训推一致算子集，在 Qwen3-30B MoE 模型上的测试实现 Logdiff 为 0，并通过昇腾亲和的 FA 算子优化，**在 Eager 模式下获得 20%-60% 性能收益**，为开发者提供高效可靠的强化学习训练方案。

RL 后训练训推不一致最根本的原因，**是底层计算时累加不保序**。若要从上到下保证训练引擎与推理引擎每一次累加顺序一致，需要框架侧与算子侧同时发力。模型参数越大，问题会进一步放大：张量并行、专家并行等切分策略，以及集合通信路径，任一环节对不齐，都无法做到最终的 true-on-policy。算子还需要覆盖多种调用场景，在关键计算步骤上施加约束，同时把性能损失控制在可用范围内 —— 这是一项系统性工程挑战。

训推不一致，指的是 **Rollout（推理）引擎与训练引擎之间的数值不一致性**。即使两者使用完全相同的模型权重，对相同 Token 序列计算得到的对数概率（logprob）也可能存在细微差异；该差异通常用 logdiff 衡量。

![图片](//img.ithome.com/images/v2/t.png "华为昇腾宣布已支持 RL 训推一致性，实测获得最高 60% 性能收益")

昇腾基于 Ascend C 编程语言对训推链路中的关键算子做了系统性约束与对齐，核心思路是：让训练与推理在「该累加的地方」走同一套数值路径，主要涉及如下 4 个修改：

- **统一注意力语义：**对齐训练掩码 Softmax 与推理逐步注意力在有效位置上的计算范围，消除因可见 Token 集合不同带来的数值差。
- **锁定 reduce 累加序：**约束训练 FA、推理 PFA / PagedAttention 在规约维度上的切分与归约顺序，避免「同模板不同切分」导致的累加不保序。
- **对齐在线 Softmax 分块策略：**统一分块大小与归约节奏，避免 decoder 侧多块合并 Softmax 与训练侧分块 Softmax 不一致。
- **对齐关键路径精度：**在 Softmax 累加等敏感步骤上统一精度转换策略，减少混合精度实现差异引入的尾数误差。

![图片](//img.ithome.com/images/v2/t.png "华为昇腾宣布已支持 RL 训推一致性，实测获得最高 60% 性能收益")

在此基础上，再配合 FA 下发与调度优化，使训推一致不再以显著性能回退为代价，从而在实测中同时拿到 logdiff=0 与端到端加速。

**华为宣布相关基础设施已开源**，还将上线“训推一致问题识别 Skill”，支持排查残余 logdiff、定位是算子路径问题还是框架实现差异。

IT之家附开源地址如下：

<https://github.com/verl-project/verl-ascend-recipe/tree/main/true_on_policy>

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家包含外链的文章均包含本声明。

投诉水文
我要纠错

[下载IT之家APP，签到赚金币兑豪礼](https://m.ithome.com/ithome/download/?popqr)

## 相关文章

关键词：[华为昇腾](/tags/%e5%8d%8e%e4%b8%ba%e6%98%87%e8%85%be/)，[训推一致性](/tags/%e8%ae%ad%e6%8e%a8%e4%b8%80%e8%87%b4%e6%80%a7/)

- [华为官宣昇腾 0day 支持 Kimi K3 的训练适配及推理部署](https://www.ithome.com/0/982/615.htm)
- [华为昇腾 950 超节点荣获 2026 世界人工智能大会最高荣誉 SAIL 奖](https://www.ithome.com/0/978/338.htm)
- [华为：将在 WAIC 2026 上首次展出业界最大规模超节点 Atlas 950 SuperPoD 真机](https://www.ithome.com/0/967/862.htm)
- [华为昇腾 0 Day 支持智谱 GLM-5.2 模型，提供全面推理优化](https://www.ithome.com/0/965/829.htm)
- [华为云与 MiniMax 最新模型 M3 实现开源首发适配，提供 Tokens 算力支持](https://www.ithome.com/0/963/764.htm)
- [深圳国产芯片成功训练万亿级 AI 大模型：依托华为昇腾 910C，达到工业级运行标准](https://www.ithome.com/0/960/281.htm)

**软媒旗下网站：**
[IT之家](//www.ithome.com/)
[最会买 - 返利返现优惠券](//www.zuihuimai.com/)
[iPhone之家](https://iphone.ithome.com/)
[Win7之家](//www.win7china.com/)
[Win10之家](//win10.ithome.com/)
[Win11之家](https://win11.ithome.com/)

**软媒旗下软件：**
[软媒手机APP应用](//m.ruanmei.com/)
[魔方](//mofang.ruanmei.com/)
[最会买](https://www.zuihuimai.com)
[要知](https://yaozhi.ruanmei.com/)

[关于IT之家](//www.ithome.com/about.htm)
|[联系我们](//www.ruanmei.com/#contact)
|[加入软媒](//www.ruanmei.com/joinus/)
|[WAP版](//m.ithome.com/)
|[网站地图](//www.ithome.com/sitemap/)
|[Archiver](//www.ithome.com/archiver/)

IT之家，软媒旗下科技门户网站 - 爱科技，爱这里。

Copyright © [RuanMei.com](//www.ruanmei.com), All Rights Reserved.

[青岛软媒网络科技有限公司](//www.ruanmei.com/)版权所有