ithome
科技
采集 2026-11-17T10:11:57+00:00
Garlic LLM 让越狱 PS4 运行 90 亿参数模型
原始标题:每秒输出最高 43 词元:Garlic LLM 可让越狱 PS4 运行 9B 参数本地 AI 模型
来源
ithome
发布时间
2026-11-17T07:12:47
采集批次
2026-11-17-10
字数
641
URL 指纹
ce34b7bde7830d65
📌 AI 总结(206 字)
开源项目 Garlic LLM 开发者 Leonardo Alegria 通过绕过 PS4 图形驱动、直接调用 AMD GCN GPU 底层指令,使越狱主机可离线运行 90 亿参数大语言模型。系统采用量化版 Qwen3.5-9B,将权重和加速数据压缩至约 4.5GiB,普通生成速度为每秒 31 至 39 个词元,代码生成最高达 43 个词元,并支持约 1.6 万词元上下文、语音对话及 Python 代码执行。
📄 正文(641 字)
开源项目 Garlic LLM 可让越狱版 PlayStation 4 运行 90 亿参数的本地大语言模型,最高生成速度达到每秒 43 个词元,且无需联网即可进行 AI 聊天和语音对话。 该项目由开发者 Leonardo Alegria 创建。其技术思路是绕过 PS4 原本用于游戏图形处理的驱动程序,直接向基于 AMD GCN 架构的 GPU 下达底层指令,将游戏主机改造成可运行 AI 推理的离线电脑。由于 PS4 没有提供供非官方程序调用的通用 GPU 计算接口或机器学习库,开发者自行开发了相关 GPU 指令。 为适应 PS4 有限的内存条件,Garlic LLM 使用阿里巴巴 Qwen3.5-9B 作为模型基座,将权重压缩为 3 位或 4 位量化格式,并把模型权重和加速数据整体控制在约 4.5GiB。系统还采用推测解码技术,在生成文本时预先采样并验证多个词元,以提高输出效率。 实际测试中,普通文本生成速度约为每秒 31 至 39 个词元,生成程序代码时最高可达每秒 43 个词元,模型可处理约 1.6 万个词元的上下文窗口。 除了文字聊天,Garlic LLM 还支持语音输入与语音对话。语音识别使用 Parakeet TDT 0.6B v3,语音合成则采用 Chatterbox。模型还能在 PS4 上执行 AI 生成的 Python 代码,并提供「思考模式」,在回答前先进行推理。不过,启用语音对话会占用更多内存,文本生成速度会降至约每秒 22 个词元。