DataFusion 10GB 内存跑十亿边图算法
推荐指数 69.0 NO. 009 · 2026.08.01
发布2026/07/31Score56Comments12
为什么值得看
作者基于 Apache DataFusion 实现了一套磁盘优先的图计算引擎，通过批量扫描替代随机访问，在 5GB 内存限制下完成十亿边图的 PageRank 计算。这为内存受限场景的大规模图分析提供了可直接复用的工程路径。
编辑判断
图计算领域长期被 GraphX、PowerGraph 等内存密集型框架主导，十亿边规模通常需要百GB 级集群。这个方案的核心洞察是：把图算法重新表达为 DataFusion 的 relational operator，利用其成熟的 spill 和 SMJ 能力，把复杂度下沉到执行引擎而非自己管理内存。
FairSpillPool 的 deadlock 和预排序数据无法被 SMJ 复用这两个问题，恰恰说明 DataFusion 在极端负载下的调度策略还有优化空间，社区如果能补上这块，可能成为单机图分析的默认选型。
如果你在做图数据库或风控图谱的 PoC，且客户环境内存严格受限，这个实现比上 Spark 集群便宜一个数量级，建议直接 fork 验证。
社区反馈
正面 13 条评论
核心争论：磁盘优先批量扫描 vs 内存映射/稀疏数组，哪种更适合内存受限的大规模图计算
相关内容
Graphs, Algorithms, and My First Impression of DataFusion DataFusion图算法实现比Spark GraphFrames快4-5倍，但内存不足时会崩溃，而GraphFrames可通过溢出降级。 Apache DataFusion is now the fastest single node engine for querying Apache Parquet files DataFusion使用最先进的两阶段聚合计划，在ClickBench基准测试中成为最快的单节点查询引擎。 Practical Performance Lessons from Apache DataFusion 深入分析DataFusion性能优化实践，包括类型系统与向量化执行的技术细节。
Really cool visualization, amazing how it resembles a neural network.
I'm pretty sure that's some stock output from CAIDA, looks like a traceroute graph from the inset
> "I can compute PageRank on a directed graph with one billion edges (graph500-26 from the Graphalytics dataset) using 5 GB of memory. Alternatively, I can identify all the weakly connected components in a graph with two billion edges (twitter_mpi from the same dataset collection) using 10 GB of mem