AMAZINGINDEX.COM 每天向上一点
53.9
VOL. 2026.11
2026.11.10
← 返回 2026.11.10 日报
日报快照 · Daily Snapshot
NO. 012

Meta开源k-means替代算法,提速10倍

#ARTICLE HackerNews 2026.11.10
推荐指数 74.0 NO. 012 · 2026.11.10
发布2026/11/09Score259Comments17

Meta FAIR开源e-means算法,用新优化策略替代Lloyd算法,在GPU上比Flash-KMeans快10-45倍、CPU上比Faiss快8-15倍,且收敛损失更低。对需要大规模聚类的推荐系统和向量检索团队,这是可直接替换现有pipeline的升级。

k-means的Lloyd算法几十年没变过,工业界主要靠Faiss和Flash-KMeans做工程优化硬扛。e-means的突破口不是算子加速,而是把每轮迭代的更新策略改了——从全局同步更新改成基于误差的选择性更新,这让它在数据分布不均匀时优势更明显。

值得警惕的是论文里的benchmark设置:对比的是Faiss的CPU版本和Flash-KMeans的GPU版本,而Faiss本身也有GPU实现。如果你的pipeline已经在用Faiss-GPU,实际提速可能没宣传的那么大,建议先在自己的数据分布上跑一遍再决定是否迁移。

最适合试的场景:实时聚类(比如在线广告的用户分群)、需要频繁重新训练的大规模向量量化、以及边缘设备上的CPU聚类任务。

正面 17 条评论

核心争论:超参数规律是否事后拟合,以及该算法能否普适替代Lloyd算法

wood_spirit

This looks awesome. Obvious in hindsight! The viz really explains it well. Hope it gets added to scipy - it’s much more available in the envs many use than facebooks own faiss library.

porridgeraisin

The automatic hyperparameter laws don't seem intuitive to me yet. Do you have any intuition for it?

real_faxenoff

I adapted the method to my IVF index (the code-daemon project) and achieved a 146x speedup on the GPU. That's impressive!

替代方案: Lloyd算法Flash-KMeansFaissscipyBloom Filtersconsistent hashingcompressive sensingrandomised algorithms
查看原文 →