🌀 AIBB-Flywheel

新闻数据飞轮
← 返回文章列表
ithome 科技 采集 2026-07-28T10:06:31+00:00

AMD 最强开源混合专家模型:Instella-MoE 系列 AI 登场,16B 参数、自有 GPU 训练

来源
ithome
发布时间
2026-07-28T07:51:58
采集批次
2026-07-28-10
字数
989
URL 指纹
5ca4325fc7f260ef

📌 AI 总结(302 字)

AMD于7月24日发布Instella-MoE系列开源混合专家语言模型,总参数量160亿,激活参数量28亿,采用27层解码器架构。该系列包含6个版本,覆盖预训练、中间训练、长上下文扩展、监督微调(SFT)、直接偏好优化(DPO)和强化学习(RL)等不同训练阶段。性能方面,基础版跑分略低于Qwen3.5-4B-Base但高于其他同类模型,Think版本在更少启用参数下超过Gemma-4-E4B-it。该模型完全基于AMD自研Instinct MI300X和MI325X GPU以及ROCm软件栈训练,融合门控多头潜在注意力等架构创新,预训练速度提升12.7%,首次Token响应时间最多缩短39.2%。
📄 正文(989 字)
AMD于7月24日发布博文,宣布推出Instella-MoE系列模型,总参数量为16B,激活参数量为2.8B,采用27层解码器架构,使用AMD自研的GPU和软件开发而成。

AMD本次推出的Instella-MoE系列模型共有6个版本:

Instella-MoE-16B-A3B-Pretrain为预训练阶段模型,基于大型多样化训练语料库从头开始训练的MoE基础模型。

Instella-MoE-16B-A3B-Midtrain为Mid-training阶段,在高质量混合数据上进一步训练的预训练模型,完善关键能力。

Instella-MoE-16B-A3B-Base为Long-context阶段,长上下文训练旨在提升模型处理和推理更长序列的能力,作为最终的基础检查点。

Instella-MoE-16B-A3B-SFT为SFT阶段,通过监督微调扩展基础检查点,实现指令跟踪和链式推理能力。

Instella-MoE-16B-A3B-DPO为DPO阶段,基于对比偏好数据的直接偏好优化以提高模型性能。

Instella-MoE-16B-A3B-Think为RL阶段,通过强化学习对最终思维检查点进行改进,以进一步加强对指令的遵循和整体反应质量。

性能方面,Instella-MoE-16B-A3B-Base模型与其他模型相比,跑分略低于Qwen3.5-4B-Base,不过高于其他同类模型。Instella-MoE-16B-A3B-Think与同类产品相比,在启用参数更少的情况下获得了比Gemma-4-E4B-it更高的分数。

Instella-MoE是AMD开发的最先进开源混合专家语言模型,在AMD Instinct MI300X和MI325X GPU上从头开始训练。该模型训练完全基于AMD ROCm软件栈,以Primus训练和Miles RL框架为基础,融合了包括门控多头潜在注意力(Gated MLA)在内的尖端架构和系统创新,让AMD硬件上高效地进行大规模训练和推理。

在预训练阶段,FarSkip-Collective通过专家并行带来的通信重叠,将模型预训练速度提升了12.7%。在推理阶段,使用SGLang推理框架实现了Instella-MoE,通过将通信与计算重叠,当模型采用专家并行服务时,可将首次Token响应时间最多缩短39.2%。