🌀 AIBB-Flywheel

新闻数据飞轮
← 返回文章列表
ithome 科技 采集 2026-11-14T04:09:35+00:00

llama.cpp 1.0.0发布,支持超150种模型架构

原始标题:本地推理引擎 llama.cpp 1.0.0 史诗级更新:支持超 150 种模型架构,断网也能满血跑大模型

来源
ithome
发布时间
2026-11-14T00:14:06
采集批次
2026-11-14-04
字数
769
URL 指纹
8018fd5cadd2d318

📌 AI 总结(183 字)

开源AI推理项目llama.cpp及其底层引擎ggml迈入1.0.0版本,主版本号将明确标示API或ABI不兼容变化,方便开发者判断升级影响。新版重点强化工程质量和跨平台测试,并通过动态库按需加载不同硬件后端。llama.cpp目前已支持超过150种模型架构变体及主流推测解码方法,可在个人电脑和服务器等设备上本地运行大模型,进一步降低部署门槛并提升计算资源利用率。
📄 正文(769 字)
开发者Georgi Gerganov于11月13日宣布,开源AI推理项目llama.cpp与底层机器学习引擎ggml的库版本正式迈入1.0.0。Gerganov是llama.cpp的创建者,也是ggml、whisper.cpp等本地AI基础软件的重要开发者,目前担任Hugging Face工程师。

llama.cpp是一套主要使用C和C++编写的开源AI推理项目,核心目标是让大语言模型能够在个人电脑、服务器等不同硬件上运行。它既可用于本地部署,也能支持云端服务,旨在降低部署复杂度,并更充分地利用设备计算能力。

此次更新的重点之一,是明确接口兼容性规则。今后两个项目会通过主版本号升级,清楚标记API或ABI不兼容的变化,使依赖相关库的应用能够直接识别升级边界。开发者无需深入检查具体代码,即可从版本号判断某次升级是否可能要求应用同步修改。

在工程质量方面,官方表示将持续加快开发节奏,并重点投入三个方面。第一,使用Hugging Face的HF Buckets和HF Jobs扩展持续集成基础设施。第二,在NVIDIA、AMD、Qualcomm、Arm、IBM和Intel提供硬件支持的条件下,持续增加覆盖主要硬件平台的自托管测试运行器。第三,在开发流程中审慎使用大语言模型,同时继续优先保证代码质量、架构控制以及对实现细节的理解。

在后端与模型支持方面,ggml通过专用后端适配不同硬件,每个后端都可以编译为动态库,并在运行时按需加载。这种方式有助于提升部署灵活性,使同一套推理框架能够更方便地适配不同设备。

目前,llama.cpp已支持超过150种模型架构变体及主流推测解码方法。团队后续还将继续加强自动化测试基础设施,并借助英伟达、AMD、高通、Arm、IBM和英特尔提供的硬件支持,进一步扩大跨平台测试覆盖范围。