AWS Machine Learning Blog· Joseph Cottingham·· 7 小时前精选AI 评分77
AWS 教程：用实测指标配置 Amazon SageMaker AI 上 Kokoro-82M 的自动扩缩容
Stop guessing auto scaling targets for TTS on Amazon SageMaker AI
AI 导读
AWS 教程通过 Kokoro-82M 实时端点实测 Q_max 与 T_total，生成 Amazon SageMaker AI 自动扩缩容策略。实测 Q_max 为 50，按 320.2 秒的扩容总时长规划后，扩容与缩容阈值分别为 37.5 和 25，冷却时间分别为 30 秒和 960 秒。
推荐理由
给出了从并发上限测量到扩容耗时测算的完整工具链，适合为延迟敏感的实时推理端点配置可复现的自动扩缩容策略。
来源：AWS Machine Learning Blog · aws.amazon.com