70B模型4GB显存运行，无需量化

大模型推理显存压缩之前主要靠GGML/GGUF量化或vLLM的PagedAttention，但量化会损失精度，vLLM对单卡小显存场景帮助有限。AirLLM走的是逐层计算+即时卸载的路子，和FlexGen类似但不需要多卡，单卡就能跑。

和DeepSpeed-Inference、Accelerate的offload比，AirLLM的卖点是开箱即用、不用改模型结构，对已经训好的模型直接套。不过要注意层卸载的代价是推理延迟显著增加，适合离线批处理、本地demo、边缘部署这些对latency不敏感的场景。

如果你团队在纠结要不要为内部工具买几张4090，或者想给客户演示大模型效果但手上只有笔记本显卡，这个工具可以帮你省掉一笔硬件开支。建议先跑它的example notebook测一下你的具体模型和输入长度下的实际延迟。