强制LLM输出合规JSON/Schema

做 LLM 应用的团队几乎都踩过这个坑：模型输出看似合法的 JSON，实际字段类型错乱、枚举值越界，或者干脆漏了必填项，导致下游管线崩溃。之前大家的解法多是 prompt engineering 加后置校验（如 Pydantic 二次解析），但生成阶段已经错了，浪费 token 且延迟高。Outlines 的做法是把约束条件编译成有限状态机，在采样阶段直接 mask 掉非法 token，从根本上保证输出合法，延迟反而更低。

跟微软的 Guidance 相比，Outlines 不绑定特定模型后端，原生支持 vLLM、Transformers、llama.cpp 等主流推理引擎，且支持更复杂的上下文无关文法（CFG）。跟 JSON Mode 这类闭源 API 特性比，它开源可审计，适合金融、医疗等强合规场景。

如果你在用 FastAPI 搭 LLM 服务，或者做需要严格输出格式的 Agent 工作流，建议把 Outlines 集成进推理层，替代掉现有的 retry 逻辑。它的 .txt API 还在早期接入阶段，有自定义 schema 审计需求的团队可以申请合作。