AirLLM 开源：让 70B 模型在单卡 4GB 显存运行，无需量化蒸馏

AirLLM 是一个开源项目，核心机制是分层加载——显存占用取决于单层大小而非模型总量，从而实现 70B 模型在 4GB GPU 运行。项目支持 Qwen3-32B、DeepSeek-V3（671B，~12GB）、Kimi K3（~3.72GB）等多款模型，支持 FP8 推理加速（3 倍速度，几乎无精度损失），还支持 Qwen3.8-Flash-Next（125B MoE）在 6GB 显存下训练。