统一调用100+LLM的开源网关
推荐指数 68.0 NO. 006 · 2026.10.09
Stars60,496
为什么值得看
LiteLLM 是一个自托管的开源 AI Gateway，用 OpenAI 格式统一调用 100 多个 LLM 提供商。对需要同时对接多个模型（如 GPT-4、Claude、Gemini）的团队，它能大幅降低接口适配成本，且支持企业级的流量控制与计费。
The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
媒体预览
编辑判断
多模型切换的痛点之前主要靠各团队自己写适配层或用 LangChain 的模型封装来解决，但维护成本高且企业级功能缺失。LiteLLM 的核心差异在于把这件事做成了生产就绪的网关形态，自带负载均衡、速率限制、成本追踪和模型回退，这比直接调 OpenAI SDK 或自己封装要省心一个数量级。
跟 Kong 或自研 Nginx 层相比，LiteLLM 的优势是原生理解 LLM 语义（如按 token 计费、流式响应处理、模型降级策略）。如果你正在从单模型扩展到多模型策略（比如用 GPT-4 做复杂推理、Claude 做长文本、本地模型做敏感数据），这个工具值得作为基础设施层评估，而不是让每个业务团队重复造轮子。
Star History
生态分析
Production
开源AI Gateway赛道事实标准，连接百模型与企业基础设施的核心枢纽
独特价值：Rust高性能核心+Python SDK双栈，百模型统一接口与企业级治理兼备
竞品：