Rust扩展AI网关实现自定义转换
推荐指数 62.0 NO. 023 · 2026.05.16
发布2026/05/15
为什么值得看
CNCF项目kgateway和agentgateway新增Rust插件机制，允许在AI网关层面对请求/响应做自定义转换，无需修改核心代码。对部署多模型路由、需要动态修改prompt或过滤敏感数据的团队，这是比NGINX/Lua更现代的方案。
媒体预览
编辑判断
Envoy生态做AI网关改造的真正难点不在协议转换，而在延迟敏感场景下的冷启动问题。Rust WASM比传统Lua方案内存安全，但WVM的启动延迟至今没有完美解法，kgateway选择在这里下注说明他们认为AI推理本身的延迟足够高，可以掩盖网关层的损耗。
对比Kong的AI Gateway或Cloudflare的AI Gateway，CNCF这套方案的定位更偏向私有化部署和高度定制，而不是SaaS化的快速接入。如果你在做金融或医疗行业的模型路由，需要过审计且不能走公网，这个方向值得跟踪；如果是追求快速上线的中小团队，云厂商的托管方案仍然更务实。