Go写的开源CDC数据复制引擎
推荐指数 71.0 NO. 011 · 2026.11.15
votes306comments69
简介
Filament 是用 Go 编写的数据复制引擎,支持全量加载、增量复制和 CDC,并在 sink 端校验 Arrow batch 和序列化负载。对需要自建数据管道的团队来说,它填补了 Debezium 太重、Airbyte 太慢的中间地带。
编辑判断
数据管道最疼的不是搭建,是静默丢数据和故障恢复。Filament 的 Arrow batch checksum + payload 级校验直接针对这个痛点,比 Debezium 只保证投递不保证内容完整更进了一步。评论区有人追问 destination outage 时的恢复机制,说明社区已经在较真生产级场景,这是好事。
目前同类工具里,Airbyte 偏 SaaS 集成、Vector 偏日志、Debezium 偏 CDC 单点,Filament 试图把全量+增量+校验串成一条可嵌入的链路。如果你在 Go 技术栈里做实时数仓或跨云同步,值得对比测试一下它的吞吐和内存占用。