设计可长期演进的 AI serving harness

EXL 将企业 AI serving harness 的设计重点放在工作负载、架构与持续优化上，而非单纯追逐模型能力。模型进入生产环境后，需通过测量识别延迟、并发、KV cache 与 GPU 内存等主要约束，再有针对性地采用量化、推测解码等优化技术。围绕业务需求、服务等级目标和可衡量的成本构建系统，可降低模型、硬件或优化技术更新时的架构重建成本。