本地LLM性能实测工具, crowdsourced benchmark
推荐指数 58.0 NO. 007 · 2026.08.18
Stars32,152
为什么值得看
llmfit 是一个带 TUI 的本地 LLM 基准测试工具,用户下载模型后在自有硬件上测真实 tok/s,数据可 PR 回项目替换估算值。对选型困难、被官方营销数字误导的工程师来说,这意味着同配置用户能直接拿到实测数据再决定是否下载。
Hundreds of models & providers. One command to find what runs on your hardware.
媒体预览
编辑判断
LLM 性能评估长期被厂商的'理想环境'数字绑架,vLLM、llama.cpp 的 benchmark 脚本又需要手动配环境写命令行,导致大多数团队选型时靠猜。llmfit 的 trick 是把测量和贡献变成同一套 TUI 流程,降低了 crowdsourcing 的摩擦。
跟 lm-sys 的 Chatbot Arena 比,它不评模型质量只评速度,且完全本地运行保护隐私;跟官方 benchmark 比,它用真实用户硬件替代实验室配置。如果你在边缘设备或特定 GPU 上部署,这是目前唯一能快速查到'同型号卡实际跑多少'的地方。
最该试的人:正在 4090/A100 之间犹豫采购、或被客户追问'这台机器到底能跑多快'的部署工程师。花 20 分钟跑一轮,比看 10 篇评测文章有用。
Star History
生态分析
Beta
本地LLM硬件适配与实测性能数据的基础设施层工具
独特价值:社区驱动的真实硬件基准数据库,用实测tok/s替代厂商营销估算