LLM 性能预测工具，用实测替代猜测
推荐指数 65.0 NO. 008 · 2026.07.22
Stars30,095
为什么值得看
llmfit 是一个开源的 LLM 硬件性能预测工具，通过社区众包实测数据替代理论估算，帮助用户在下载模型前准确预估 tok/s。对需要权衡延迟与成本的部署团队，能避免'下完才发现跑不动'的试错浪费。
Hundreds of models & providers. One command to find what runs on your hardware.
媒体预览
编辑判断
做 LLM 部署的团队目前主要靠 vLLM 或 TensorRT-LLM 的默认配置调参，但'这张卡能跑多少 tok/s'仍然靠猜或自己逐一下载测试。llmfit 的众包模式有点像 PassMark 的 CPU 数据库，但针对 LLM 场景做了专门适配，数据直接嵌入 TUI 查询流程。
跟 lm-evaluation-harness 这类评测框架不同，llmfit 不测模型能力，只测硬件吞吐，定位更垂直。目前 30K stars 说明这个痛点足够普遍，但数据覆盖度仍是瓶颈——如果你的硬件组合（尤其是国产卡或边缘设备）还没有收录，提交 benchmark 的 ROI 很高，下一个版本就能让全社区看到你的实测数字。
适合已经在用 llama.cpp、Ollama 或自研推理服务的团队，作为选型前的快速过滤层。
Star History
生态分析
Beta
LLM部署前的硬件性能评估基础设施，连接模型生态与硬件生态
独特价值：众包实测数据替代理论估算，解决下载前性能不可知痛点