LZ4：把压缩速度推到内存极限
推荐指数 52.0 NO. 005 · 2026.11.06
Stars12,357
简介
LZ4 是无损压缩算法，单核压缩超 500 MB/s、解压达数 GB/s，多核可跑满内存带宽。AI 工程师处理大规模数据集时，I/O 瓶颈往往比计算更致命，它能直接换吞吐量。
Extremely Fast Compression algorithm
编辑判断
做模型训练数据预处理或推理服务序列化的团队，通常默认用 gzip 或 zstd 做中间格式，但 gzip 解压太慢、zstd 压缩侧 CPU 开销高。LZ4 的 trade-off 很极端：压缩比牺牲到 zlib 级别，但解压速度是 zstd 的 5-10 倍，且压缩侧可通过 acceleration 因子实时调速。
如果你的场景是高频序列化（如 TorchServe 的 tensor 缓存、MLflow artifact 传输、分布式训练的 checkpoint 落盘），CPU 等 I/O 的时间比等压缩的时间更贵，换成 LZ4 通常能直接降低 p99 延迟。需要高压缩比的冷存储场景则不适合，应继续用 zstd 或 LZ4_HC。
Star History
生态分析
Production
极致速度无损压缩的事实标准，内存/存储I/O加速基础设施
独特价值：单核500MB/s+、多核内存带宽级吞吐，跨语言绑定完备