🌀 AIBB-Flywheel

新闻数据飞轮
← 返回文章列表
ithome 科技 汽车 采集 2026-11-13T10:09:24+00:00

玩家用停产傲腾内存运行Kimi K3模型

原始标题:不用显卡:玩家靠停产傲腾内存跑通 2.8 万亿参数 Kimi K3 AI 模型,每秒输出 1.5 词元

来源
ithome
发布时间
2026-11-13T07:14:29
采集批次
2026-11-13-10
字数
478
URL 指纹
72ef9d1aa97af6d8

📌 AI 总结(200 字)

Reddit网友u/IndividualSurvival在家庭实验室中,以40核第三代英特尔至强可扩展处理器、傲腾持久内存200系列和llama.cpp,在没有显卡的情况下跑通月之暗面2.8万亿参数Kimi K3模型。测试显示,1比特量化并关闭DAX后,输出速度由每秒0.85个词元提升至1.50个词元;3比特量化速度仅每秒0.75个词元,生成5万个词元约需18.5小时,证明方案可行但速度仍不理想。
📄 正文(478 字)
IT之家11月13日消息,网友u/IndividualSurvival于11月2日在Reddit社区发帖,分享了一项家庭实验室尝试:在不配备显卡的情况下,使用已停产的英特尔傲腾持久内存,成功运行2.8万亿参数的月之暗面Kimi K3模型。

英特尔傲腾是基于3D XPoint的非易失性存储技术,由英特尔与美光共同开发。此次使用的是傲腾持久内存200系列,其外形和安装方式接近服务器内存条,提供128GB、256GB和512GB三种容量,主要面向第三代至强可扩展处理器平台。

该网友采用40核第三代英特尔至强可扩展处理器,并使用App Direct模式,让DRAM与傲腾作为两个独立的数据空间呈现给软件,再通过llama.cpp执行模型推理。

测试结果表明,这套无显卡方案能够运行超大参数模型,但生成速度仍显缓慢。采用1比特量化并压缩模型数据后,初始输出速度约为每秒0.85个词元;关闭直接访问功能DAX,使常用数据能够利用DRAM缓存后,速度提升至每秒1.50个词元。另一项3比特量化测试仅达到每秒0.75个词元,生成5万个词元大约需要18.5小时。