70B模型4GB显存推理，无需量化
为什么值得看
AirLLM通过层卸载和内存优化技术，让700亿参数大模型可在4GB显存上运行，405B Llama3.1仅需8GB。对GPU资源受限的中小团队和本地部署开发者是刚需解法。
AirLLM 70B inference with single 4GB GPU
媒体预览
编辑判断
之前显存不够时，大家要么用 llama.cpp 走量化牺牲精度，要么上 vLLM 但显存门槛依然很高。AirLLM 的路线是逐层加载推理、用完即释放，不走量化这条路，精度无损但延迟会增加。
和 DeepSpeed-Inference、FlexGen 这些层卸载方案比，AirLLM 的封装更轻量，pip 安装后直接替换 HuggingFace 的 from_pretrained 即可，迁移成本极低。
如果你在做 toB 私有化部署、边缘设备 demo，或者就是买不起 A100，这个项目值得优先试。注意它目前更适合离线批量推理，高并发在线服务还不是主战场。
Star History
生态分析
Production
大模型推理降本工具，填补消费级GPU运行超大模型的空白
独特价值：层卸载+内存优化极致压缩，4GB跑70B、8GB跑405B业界领先
竞品：