AMAZINGINDEX.COM 每天向上一点
54.0
VOL. 2026.11
2026.11.16
← 返回 2026.11.16 日报
日报快照 · Daily Snapshot
NO. 004

llama.cpp 底层张量库独立开源

#REPO GitHub Trending 2026.11.16
推荐指数 69.0 NO. 004 · 2026.11.16
Stars15,884

ggml 是 llama.cpp 背后的 C/C++ 张量计算库,主打零依赖、跨平台、支持从 CPU 到浏览器全后端。对需要在边缘设备或浏览器跑量化模型的团队,这是比 PyTorch 更轻量的基础设施选项。

Tensor library for machine learning

llama.cpp 底层张量库独立开源

做端侧部署的团队之前多在 PyTorch Mobile 或 ONNX Runtime 之间二选一,但这两个方案在 2-4bit 极端量化和 WebAssembly 支持上都欠火候。ggml 的杀手锏是运行时零内存分配,这对嵌入式和浏览器场景意味着确定性延迟。

跟 TensorRT-LLM、vLLM 这些数据中心导向的方案不同,ggml 的竞品其实是 Google 的 XNNPACK 和微软的 ONNX Runtime Mobile——后两者 ARM NEON 优化不错,但 RISC-V 和 LoongArch 支持几乎空白。如果你的目标硬件是国产芯片或 MCU 级设备,ggml 几乎是唯一选。

已经在用 llama.cpp 的团队其实已经在间接用 ggml,但这次独立出来意味着可以剥离 llama 的耦合,直接接入自定义模型架构。做端侧小模型创业或需要将推理能力嵌入硬件固件的工程师,值得花一天时间把 ggml 的后端抽象层读一遍。

Star History
Production

边缘AI推理的轻量级张量计算基础设施,llama.cpp的核心依赖

独特价值:零依赖、跨平台、支持CPU到浏览器全后端,极致轻量

竞品:
pytorch/pytorch ★ 105.5k Python生态,功能全面但依赖重,不适合边缘部署
tensorflow/tensorflow ★ 201.6k Google全栈框架,体积大,移动端需专门转换
查看原文 →