🌀 AIBB-Flywheel

新闻数据飞轮
← 返回文章列表
ithome 科技 采集 2026-11-05T04:11:29+00:00

昇腾首日适配Kimi K3.1 Pro推理部署

原始标题:华为宣布昇腾 0 Day 支持 Kimi K3.1 Pro 推理部署,2.8 万亿级 MoE 模型能力再进阶

来源
ithome
发布时间
2026-11-05T00:45:14
采集批次
2026-11-05-04
字数
625
URL 指纹
b7d05a2243f009ed

📌 AI 总结(192 字)

华为昇腾宣布,在月之暗面公布Kimi K3.1 Pro完整模型权重次日,便通过vLLM Ascend和SGLang完成推理适配。该模型拥有2.8万亿参数,支持百万级上下文、视觉理解和混合线性注意力。此次协同优化覆盖稀疏注意力、算子执行、缓存管理及跨卡通信,可用于Atlas 800 A3、Atlas 900 A3 SuperPod和昇腾950超节点,降低开发者首日部署与应用验证门槛。
📄 正文(625 字)
华为计算公众号消息,2026年11月4日,月之暗面公布Kimi K3.1 Pro完整模型权重。昇腾基于vLLM Ascend和SGLang同步实现0 Day推理适配,模型发布首日即可在昇腾Atlas 800 A3、Atlas 900 A3 SuperPod超节点及昇腾950超节点系列产品上进行部署与应用验证。

Kimi K3.1 Pro是K3.1系列首个模型,拥有2.8万亿参数,原生支持视觉理解和百万token上下文窗口。模型扩大了后训练规模,在代码开发、3D创作、金融研究、事实准确性和长程智能体任务等方面有所提升。

凭借百万级上下文,模型可综合处理长篇文档、代码和多轮交互信息,并结合视觉理解与工具调用完成多步骤任务,适用于软件研发、企业知识处理等复杂场景。

在计算架构上,K3.1 Pro采用混合线性注意力,由KDA线性注意力层和DSA稀疏注意力层组成。针对新增的稀疏注意力、百万级上下文及推理服务需求,昇腾对算子与框架进行了协同优化,重点涉及算子执行、缓存管理和跨卡通信。

昇腾推理团队此前已积累Kimi K3适配经验,并提前开展模型分析,协同推进模型接入、算子开发和服务验证。在已有KDA与MoE支持基础上,团队完成K3.1 Pro新增稀疏注意力路径和多模态推理适配,并保留推理框架的既有服务能力。

本次适配覆盖历史信息筛选、稀疏注意力计算、预处理和残差计算等核心算子,并结合分布式缓存与框架能力,支撑长上下文推理和服务部署。