AMAZINGINDEX.COM 让生活多一点 Amazing
48.7
VOL. 2026.10
2026.10.20
← 返回 2026.10.20 日报
日报快照 · Daily Snapshot
NO. 002

LLM 输入压缩 8 倍降本

#REPO GitHub Trending 2026.10.20
推荐指数 72.0 NO. 002 · 2026.10.20
Stars76,191

Headroom 在本地对 AI agent 的输入(工具输出、RAG 片段、对话历史等)进行压缩后再送入 LLM,官方示例中 10144 tokens 压到 1260 tokens 且答案不变。对 token 成本敏感、agent 调用频繁的场景可直接降低 80%+ 费用,且无需把数据发到外部压缩服务。

Compress tool outputs, logs, files, and RAG chunks before they reach the LLM. 20% fewer tokens for coding agents, 60-95% fewer tokens for JSON, same answers. Library, proxy, MCP server.

LLM 输入压缩 8 倍降本

之前大家控制 context 成本主要靠 prompt 精简、RAG 重排序截断或换便宜模型,Headroom 走的是另一条路——对已有内容做语义压缩保留关键信息。和类似方向的 Contextual AI 的 RAG2.0 或 LangChain 的 contextual compression 相比,Headroom 的差异化是端到端代理层集成(proxy/agent wrap/MCP 三种形态),零代码或一行命令即可接入,不需要改造现有 RAG 管线。

最该试的人群:正在跑多 step agent 且每月 OpenAI/Anthropic 账单过千美元的团队,以及把 MCP 当标准基础设施的开发者。需要验证的是压缩率在不同任务类型上的稳定性,代码和日志类输入通常比创意写作类更容易压缩。

Star History
Production

AI Agent基础设施层的输入压缩中间件,降低LLM调用成本

独特价值:本地化token压缩,编码场景降本80%+,无需外发数据

竞品:
NanmiCoder/cc-haha ★ 15.1k 桌面工作台,侧重多Agent协作与远程访问,非token压缩
lemony-ai/cascadeflow ★ 3.9k Agent循环内成本优化,侧重调度策略而非输入压缩
looplj/axonhub ★ 5.4k AI网关,侧重多模型路由与负载均衡,无token压缩能力
查看原文 →