ithome
科技
采集 2026-09-24T10:11:37+00:00
小米公开MiMo-V3核心架构HySparse2
原始标题:小米公开 MiMo-V3 核心架构 HySparse2:面向长程多轮 Agent 优化推理效率
来源
ithome
发布时间
2026-09-24T08:28:04
采集批次
2026-09-24-10
字数
2286
URL 指纹
b046360ab8d2f930
📌 AI 总结(383 字)
小米MiMo团队公布面向下一代大模型MiMo-V3的核心架构HySparse2,专为长上下文多轮Agent场景优化。该架构借鉴YOCO设计,将模型分为Self-Decoder和Cross-Decoder两半,通过两级KV共享(KV Bridging与KV Reuse)和token级稀疏选择机制,大幅提升长程信息处理效率。在80B-A3B MoE模型测试中,HySparse2相对Hybrid SWA,Prefill计算量降至五分之一,KV Cache从12GB降至2.7GB;相对第一代HySparse,Prefill计算降至三分之一,长上下文检索得分MRCR-v2和RULER-v2分别提升11.30和19.81个百分点。小米表示,HySparse2与此前推出的MiMo-UltraSpeed分别从输入处理和输出生成两端发力,共同推动MiMo-V3实现更快响应。
📄 正文(2286 字)
IT之家9月24日消息,小米MiMo今天公布面向MiMo-V3的核心架构HySparse2,瞄准下一代长上下文Agent。新架构旨在让模型以更低成本处理网页、文件、代码和工具调用记录,并从不断增长的任务历史中更准确地检索关键信息。 HySparse2面向长程多轮Agent,强调更少的Prefill计算、更小的KV Cache、更精准的长上下文检索。 从Xiaomi MiMo-V2系列开始,团队持续探索模型能力与计算效率的共同提升。MiMo-V2系列采用的Hybrid SWA混合注意力架构,将全注意力与滑动窗口注意力结合,在保持模型效果的同时让训练和推理更高效。过去半年,团队持续推进强化学习技术的探索,将积累的训练经验应用于近期发布的MiMo-V2.6系列,推动模型能力显著提升。 在持续推进V2系列的同时,面向MiMo-V3的新一代架构研究也一直在进行。此前公开的HySparse,正是这条探索路线上的第一步。今天公开的HySparse2在此基础上进一步升级了KV共享与稀疏选择机制,让模型更高效精准地处理长上下文。 一次简短的工具调用,可能带回一整页网页、一份文件或长长的执行日志。Agent每向前一步都要处理新的输入;随着任务推进,还要从不断增长的历史中找准下一步需要的信息。模型会把已读内容的表示保存在KV Cache中,供后续生成使用。读入新增内容并建立这些缓存的过程称为Prefill。在多轮Agent任务中,每次工具返回新信息都需要再次处理新增输入,因此新架构需要同时满足三个要求:高效读入以减少处理长输入所需的计算;节省显存以降低KV Cache占用;精准检索以从长历史中找出相关证据。 第一代HySparse已经迈出了一步,用少量Full Attention层提供KV Cache和重要位置的选择结果,让后续Sparse Attention层直接复用,从而降低注意力计算与缓存开销。但在HySparse架构中,Prefill仍然需要执行所有层;面对多轮、长距离的信息检索,块级选择也有进一步提升精度的空间。HySparse2围绕这些问题,引入了两级KV共享、token级稀疏选择以及统一的局部信息访问方式。 借鉴YOCO的设计,HySparse2将模型分成前后两部分:前半部分是Self-Decoder,采用Full Attention与SWA的混合结构;后半部分是Cross-Decoder,采用Full Attention与Sparse Attention的混合结构。在此基础上,KV共享分为两个层次:KV Bridging实现跨前后两部分的KV提前构建,后半部分每个Full Attention层都从前半部分对应层的输入隐藏状态生成自己的KV Cache;KV Reuse在同一Hybrid Block内复用KV与选择结果,每个Hybrid Block由一层Full Attention和随后的多层Sparse Attention组成,Full Attention根据注意力分数选出重要位置,后续稀疏层直接复用其KV Cache和选择索引。 在选择粒度上,HySparse2从块级稀疏选择改为token级选择,让同样的注意力预算可以更精细地分配到分散在不同轮次的关键位置。在相同全局token预算下,token级选择在RULER-v2、多轮检索MRCR-v2和图推理GraphWalks上均获得提升。 此外,HySparse2强制选中最近的128个token,再从窗口外选择1024个全局token,稀疏层不再需要单独的SWA分支和局部KV Cache,局部信息访问被合并到同一次稀疏注意力计算里。 两级KV共享与局部窗口的合并,使模型后半部分所需的全部KV Cache都能从前半部分的隐藏状态构建。在49层模型中,Prefill只需执行前25层Self-Decoder以及桥接KV投影,其中只有一层Full Attention。在Prefill-Decode分离部署时,Prefill节点也只需部署这部分Self-Decoder网络,所需的模型权重存储接近减半。 团队在80B-A3B MoE模型上使用相同的数据与训练流程对比了Hybrid SWA、HySparse和HySparse2。在百万token的成本分析中,相对Hybrid SWA,HySparse2的Prefill计算量降至1/5,KV Cache从12GB降至2.7GB;相对第一代HySparse,Prefill计算量降至1/3,KV Cache从6.7GB降至2.7GB。 预训练后,HySparse2保持了大体相当的通用能力,长上下文表现更好。经过相同的轻量后训练后,在最高256k的评测范围内,HySparse2在各项已测长度上都获得了更高的MRCR-v2、RULER-v2分数,以及更低的AgentPPL、LongPPL。相对第一代HySparse,MRCR-v2和RULER-v2在各报告长度上的平均分分别提高了11.30和19.81个百分点。 小米表示,此前MiMo-UltraSpeed通过模型与系统协同设计,采用低比特量化、投机解码、MegaKernel等技术,探索更快的Decode;今天HySparse2进一步降低长上下文的Prefill与缓存开销。两项工作分别从输入处理和输出生成入手,推动模型更高效地完成任务。面向MiMo-V3,小米希望在持续提升模型智能的同时,为用户带来同等模型规模下更快的Prefill和Decode。