AI Agent 可观测性平台，追踪每次调用成本与错误
推荐指数 56.0 NO. 013 · 2026.11.02
votes238comments21
简介
telemetry.dev 将 AI Agent 的每次运行聚合为完整 trace，支持模型调用、工具调用的耗时、token、成本、错误追踪，并打通 prompt 调试与 eval 数据集对比。对生产环境 Agent 的故障定位和成本失控问题有直接价值。
编辑判断
Agent 可观测性目前的主流方案是 LangSmith、Langfuse 或自研 OpenTelemetry 埋点，但大多数团队卡在 trace 结构不统一、prompt 版本和线上数据割裂的问题上。telemetry.dev 的核心差异是把 prompt 迭代和 eval 跑在了同一套 trace 上，不需要重新部署就能对比线上数据集，这对高频迭代 prompt 的团队省了大量往返时间。
不过它的 OpenTelemetry exporter 兼容是个双刃剑：老团队迁移成本低，但深度用户可能会发现自定义 span 的灵活性不如直接写 OTLP。如果你在 Langfuse 上已经被自定义 dashboard 的复杂度搞得很烦，或者 LangSmith 的定价随着调用量暴涨，这个工具值得作为备选跑两周对比。