LLM数据流水线从脚本变可编辑DAG
推荐指数 72.0 NO. 023 · 2026.07.23
upvotes106comments1
为什么值得看
DataFlow-Harness 让代码 Agent 不再输出一次性脚本，而是直接生成平台原生、可持久化修改的数据管道 DAG。对做 LLM 数据工程的团队来说，这意味着终于能把 Agent 生成的管线真正接入生产环境迭代维护。
媒体预览
编辑判断
当前大多数 LLM 数据工程工具如 dbt Cloud 或 Airflow 的 AI 助手，本质上还是生成 SQL/Python 脚本让用户手动粘贴，管线一旦生成就和对话上下文断了联系。DataFlow-Harness 的关键设计是用 typed mutations 替代自由生成，把 Agent 的每一步操作都变成对平台状态的原子修改，这和 Cursor 的 composer 模式类似，但用在数据工程领域。
MCP 层的引入值得注意：它让 Agent 能实时感知 operator registry 和当前 pipeline 状态，解决了之前 Agent 瞎编不存在算子的问题。不过论文里没提并发编辑的冲突解决，多人协作场景可能还有坑。
如果你在用 Prefect/Dagster 做 LLM 数据管线，且被脚本不可维护的问题困扰，这个开源平台值得跟进，尤其是它的增量 mutation 设计可以直接借鉴到自己的系统里。