🌀 AIBB-Flywheel

新闻数据飞轮
← 返回文章列表
ithome 科技 采集 2026-10-06T10:13:02+00:00

12GB显卡跑125B模型:开源Strata引擎让RTX2070效率提升

原始标题:12GB 显存显卡跑 125B Qwen3.8 模型:Strata 登场,单张 RTX 5070 跑出 94 词元 / 秒

来源
ithome
发布时间
2026-10-06T07:45:52
采集批次
2026-10-06-10
字数
879
URL 指纹
e1520f5dadc6925a

📌 AI 总结(308 字)

开发者 Niko1221 开源发布 Strata 推理引擎,让 12GB 显存消费级显卡可运行量化版 Qwen3.8-Flash-Next 模型(1250 亿参数)。Strata 采用两大关键技术:将 MoE 模型主体放入 RAM、仅将高频专家模型放入显卡显存;并利用投机解码预测下一 Token 以加速推理。测试显示,在 RTX 5070(12GB 显存)环境下,2 比特量化版本实现 94 词元/秒推理速度,3 比特版本为 53 词元/秒;RX 9070 XT(16GB)环境下达到 60 词元/秒。最低配置为 12GB 显卡、32GB 内存和 80GB 存储,支持 Windows 10/11 和 Linux。
📄 正文(879 字)
IT之家 10 月 6 日消息,科技媒体 gigazine 今天(10 月 6 日)报道,开发者 Niko1221 开源推出 Strata 引擎,可以在 12GB 及以上显存的消费级显卡上,运行量化的 Qwen3.8-Flash-Next 模型(1250 亿参数)。

IT之家注:Qwen3.8-Flash-Next 模型是阿里巴巴 Qwen 团队于 2026 年 8 月推出的多模态混合专家(MoE)模型的压缩版本,配有 125B 参数,另含 51B 参数的 n-gram 嵌入表,原生支持 262K token 上下文长度。

Strata 为了降低显存占用,主要采用两项关键技术:其一是将 MoE(混合专家)模型整体载入 RAM,仅将高频使用的专家模型载入 VRAM。其二使用轻量模型进行投机解码,预测下一 Token 以加速推理过程。

硬件要求方面,运行 Qwen3.8-Flash-Next 需满足最低配置:12GB 以上 VRAM 的 NVIDIA 或 AMD 显卡、32GB 以上 RAM、80GB 以上存储空间(推荐 SSD)、Windows 10/11 或 Linux 系统。

性能方面,在 NVIDIA GeForce RTX 5070(12GB VRAM)、Ryzen 5 7600、64GB RAM 配置下,2 比特量化版 Q2_0 达到 94 词元 / 秒推理速度,3 比特量化版 IQ3_S 为 53 词元 / 秒。AMD Radeon RX 9070 XT(16GB VRAM)环境下,Q2_0 版本达到 60 词元 / 秒。

硬件配置: NVIDIA RTX 5070(12 GB 显存),AMD Ryzen 5 7600,64 GB 系统内存。

硬件配置:AMD RX 9070 XT(16 GB 显存),AMD Ryzen 9 3900X,47 GB 内存。

这里的「写答案」对应生成回复(输出)的速度,「阅读提示」对应处理你输入的 prompt(上下文)的速度。

点此前往 GitHub 体验 Strata