vLLM：开源 LLM 推理与服务库

vLLM 是由 UC Berkeley Sky Computing Lab 发起的开源 LLM 推理与服务库，拥有 2000+ 贡献者，支持 200+ 模型架构。