零改造接入 LLM 调用中间层
推荐指数 64.0 NO. 005 · 2026.05.15
Stars127创建5 天前Forks28Issues1
为什么值得看
LLMix 是一个配置驱动的 LLM 调用中间层，支持 Python/TS/Rust，无需重写现有 SDK 代码即可叠加缓存、重试、密钥轮询和灰度发布能力。对已有 LLM 基建的团队来说，这是最低成本的治理能力补强方案。
Production LLM call layer for AI agents and tools: keep OpenAI/Anthropic/AI SDK/LiteLLM, hot-swap models with MDA presets, and add cache, retries, circuit breakers, key rotation, singleflight, and Python/TypeScript/Rust parity.
媒体预览
编辑判断
LLM 调用治理这个赛道已经有 Kong、Portkey、Helicone 等成熟产品，但它们的共同代价是引入新的 API 层或代理层，需要迁移代码。LLMix 的差异化在于"包裹而非替换"——你继续用 openai.chat.completions.create，只是把 client 对象换成 LLMix 的 wrapper。
这意味着存量项目的接入成本极低，特别适合已经深度绑定原生 SDK、但突然需要加限速/降级/多租户隔离的中后期项目。不过 127 stars 尚处早期，生产环境建议先验证其在高并发下的稳定性，以及是否支持 streaming 的透明透传——很多 wrapper 在这里会埋坑。
Star History
生态分析
Beta
已有LLM基建团队的零侵入治理中间层，补强化而非替代
独特价值：不改代码叠加缓存、熔断、密钥轮询，三语言 parity 降低迁移成本
竞品：