🌀 AIBB-Flywheel

新闻数据飞轮
← 返回文章列表
ithome 科技 采集 2026-09-23T16:12:33+00:00

罗福莉官宣小米MiMo-V3新架构,核心HySparse 2发布

原始标题:罗福莉官宣小米 MiMo-V3 采用全新架构,核心 HySparse 2 今日发布

来源
ithome
发布时间
2026-09-23T15:05:20
采集批次
2026-09-23-16
字数
687
URL 指纹
00fd508e51e3fe53

📌 AI 总结(294 字)

小米MiMo大模型负责人罗福莉宣布MiMo-V3将采用全新架构,核心组件HySparse 2于9月23日发布。该架构针对智能体推理场景优化,在100万Token长度下预填充计算量降低5.02倍,KV缓存缩小4.5倍,同时在长上下文检索基准测试中取得更优表现。罗福莉指出,智能体推理中每轮交互的短动作可能返回需预填充的长文本,使预填充成本、KV缓存与检索准确率成为关键路径。HySparse 2引入KV桥接和KV重用机制,借鉴YOCO思路,让交叉解码器复用自解码器的隐藏状态构建KV缓存,稀疏层复用前层全注意力缓存,显著降低开销。此前小米已开源MiMo-V2.6系列,探索递归自我改进路径。
📄 正文(687 字)
IT之家9月23日消息,小米MiMo大模型负责人罗福莉今日发文,宣布MiMo-V3即将采用全新架构。其核心HySparse 2今日发布,带来更少的预填充、更小的KV缓存、更出色的长上下文检索。

根据公布的数据,HySparse 2在1M(100万)Token长度下,预填充计算量降低5.02倍,KV缓存缩小4.5倍,同时具有更高的MRCRv2和RULER-v2评分,AgentPPL和LongPPL则更低。

罗福莉表示,智能体推理是一种截然不同的工作负载。每一轮交互中,一个简短的动作可能会返回需要进行预填充的长文本观察结果,同时上下文还在不断增长。这使得预填充成本、KV缓存大小和检索准确率同时处于关键路径上。

HySparse 2引入了两项关键技术:KV桥接(KV Bridging)遵循YOCO思路,交叉解码器中的全注意力层利用自解码器的隐藏状态构建其K/V;KV重用(KV Reuse)在每个混合块内,稀疏层复用前一层全注意力层的KV缓存和选择索引。

另外还有两项改进:采用Token级别的选择来替代块级别的选择,并用近期Token的强制窗口来替代独立的SWA分支,从而让本地和全局Token共享同一个KV缓存。由于所有的交叉解码器KV缓存现在都来自自解码器,因此预填充在自解码器完成时即可停止。

值得一提的是,9月22日凌晨,小米刚刚发布并开源了全新的Xiaomi MiMo-V2.6系列,包含Pro与Flash两个原生全模态模型。小米称这是其探索RSI(递归自我改进)路径的关键一步,通过规模化扩展强化学习算力,让模型在持续的探索与反馈中拓展智能边界。