Mac本地LLM推理开源Metal引擎
推荐指数 61.0 NO. 009 · 2026.10.09
Stars117创建3 天前Forks8Issues7
为什么值得看
lithos-metal 是专为 Apple Silicon 设计的开源推理引擎，通过生成 Metal megakernels 实现低延迟本地 LLM 推理。对需要在 Mac 上运行 coding agent 或隐私敏感场景的 AI 工程师，这是目前少数针对统一内存架构深度优化的方案。
Lithos Metal: high-performance LLM inference kernels and serving for Apple silicon.
媒体预览
编辑判断
Mac 上做本地 LLM 推理的团队之前大多依赖 llama.cpp 或 mlx-lm，但这些框架对 Apple Silicon 的统一内存架构挖掘并不充分，尤其是 layer fusion 和 generation overhead 方面。lithos-metal 的 layer-wise mixer megakernels 和 GPU-resident control 是针对性设计，理论上比 mlx-lm 在相同硬件上有更低的 kernel launch 开销。
不过需要 macOS 26+ 和 M5 Max 的硬件门槛意味着它目前面向的是明年后的设备，现有 M3/M4 用户暂时无法尝鲜。如果你正在规划基于 Apple Silicon 的端侧产品路线，建议跟踪它的 DSpark 投机解码实现，这比传统的 draft-then-verify 更适合小 draft model 场景。
Star History
生态分析
Experimental
Apple Silicon本地LLM推理的垂直优化方案，填补官方MLX与通用引擎间的性能空白
独特价值：通过Metal megakernels深度压榨统一内存带宽，实现Mac端最低延迟推理
竞品：