llama.cpp 与 ggml 正式发布 v1.0.0 版本

从消费级本地设备到高端企业级服务器，llama.cpp 让在各类硬件上运行多模态大语言模型成为可能。借助量化技术、针对性优化的后端以及高可移植性的 C/C++ 实现，我们让整个软件栈的各个层面都能轻松调用 AI 推理能力。我们坚信，在构建跨平台且兼顾隐私的 AI 产品时，这是一个最轻量、最通用也最合理的平台。

自立项以来的三年半时间里，本项目发展迅猛，已有大量下游应用依赖于我们的成果。随着本地 AI 与数据隐私在日常生活中变得愈发重要，我们预计这一趋势还将持续。每一次新的集成，都意味着有更多开发者依赖我们的库接口，因此提供一个灵活且稳定的 API 至关重要。

今天，我们正式发布 v1.0.0 库，以践行对广大开发者的责任与承诺。今后，llama.cpp 和 ggml 只要出现 API 或 ABI 不兼容，都会通过升级主版本号来体现。随着采用率的不断上升，我们将更严格地明确这些边界，方便下游使用者清晰感知。

版本发布

语义化版本更新规则

以下规则适用于所有采用语义化版本规范的 ggml-org 项目：

分发渠道

我们期待拓展 ggml-org 软件的分发渠道，触达更多开发者与终端用户。若想了解如何将 ggml-org 项目接入您的打包与发布流程，请参阅该讨论帖。

开发进展

本项目汇聚了一个非常活跃的开源社区，吸引了众多技术精湛、才华横溢的贡献者。随着 AI 在软件工程领域的能力突飞猛进，我们也在以审慎、合理的方式将大语言模型融入自身的开发流程。保持代码库的高质量、牢牢把控架构设计并透彻理解底层实现细节，始终是我们最重要的核心原则。

为了支撑日益加快的开发节奏，我们正持续投入更多资源来完善项目背后的 CI（持续集成）基础设施。得益于 HF Buckets 和 HF Jobs 等技术，我们得以扩充测试算力，确保合入 master 分支的每一项改动都准确无误。同时，在 NVIDIA、AMD、高通（Qualcomm）、Arm、IBM 和英特尔（Intel）的硬件支持下，我们正持续在各大主流硬件平台上接入更多自建 Runner。

后端与模型支持覆盖

llama.cpp - ggml 的底层机器学习引擎经过专门设计，几乎可以在现有的任何硬件上运行。这得益于一套专门的 ggml 后端实现，每个后端均可编译为动态库，并支持在运行时按需加载。

目前已实现的完整后端列表可在此查阅。

我们致力于持续支持各类模型架构。目前，llama.cpp 已支持超过 150 种架构变体，并覆盖了所有主流推测解码方法。

致谢

Hugging Face 的 llama.cpp 团队由衷感谢社区给予的鼎力支持。特别鸣谢该项目的长期维护者以及所有代码贡献者。这是一座重要的里程碑，没有大家的共同努力，这一切都无法实现！

其他资源

• llama.cpp 示例
• Hugging Face 上的 ggml-org
• GitHub 上的 ggml-org
• 欢迎体验适用于 MacOS 和 Windows 的 Llama 桌面客户端，由 llama.cpp 团队与 Hugging Face 倾情打造。