ithome
科技
采集 2026-11-17T22:06:40+00:00
寒武纪完成商汤Loop-9B模型适配
原始标题:寒武纪 Day 0 完成商汤 SenseNova Loop-9B 适配,打通新型循环计算架构推理链路
来源
ithome
发布时间
2026-11-17T16:58:02
采集批次
2026-11-17-22
字数
712
URL 指纹
391f526cab01bc70
📌 AI 总结(221 字)
商汤科技发布日日新 SenseNova Loop-9B 模型后,寒武纪于次日完成 Day 0 适配,打通该模型在思元 MLU 平台上的推理链路。适配涵盖循环层静态展开、Attention、Linear Attention、MLP 等算子复用,以及多模态组件接入,并通过融合接口和自动生成算子优化 mHC 路由。该模型借助 Loop 共享参数,以约 90 亿参数完成更深的循环计算,4bit 量化后权重约 4.9GB,部署显存可低至 10GB。
📄 正文(712 字)
商汤科技发布日日新 SenseNova Loop-9B 模型后,寒武纪官方宣布已完成 Day 0 适配,打通了该模型在 MLU 平台上的推理链路,使商汤新模型能够快速运行于国产 AI 加速平台。 SenseNova Loop-9B 通过 Loop 结构复用模型层参数,并结合流形约束超连接 mHC,在约 90 亿参数的规模下扩展计算深度,主要面向复杂推理、代码、工具调用和多模态任务,重点提升 Agent、代码及数据分析能力。 本次适配主要围绕 Loop 循环结构、MLU 算子和 mHC 路由优化展开。模型通过循环执行共享中间层,将 32 个物理解码层扩展为 56 次层计算。为兼容 vLLM 的模型执行和调度机制,寒文纪采用静态展开方案,把循环计算转换为 56 个顺序执行层,各执行槽位共享同一份权重,并继续使用标准调度和 KV cache 机制。 模型官方 4bit 量化后的权重约为 4.9GB,部署显存需求可控制在 10GB 以内。其 Attention、Linear Attention 和 MLP 模块被替换为 vllm_mlu 中现有的 Qwen3-Next 系列 MLU 算子,从而提高适配效率。多模态部分则复用 Qwen3.5-VL 的视觉 Transformer 和多模态处理器,支持图像与文本输入场景下的推理。 针对 mHC 双流信息路由中的归一化与 Sinkhorn 迭代计算,寒武纪通过 TMO 融合接口降低归一化开销,并利用 CNAgent Triton Skill 自动生成融合算子,将 Sinkhorn 计算整合进单个 Triton Kernel,以减少多次算子启动带来的调度成本。