AWS Machine Learning Blog· Mona Mona·· 4 小时前精选AI 评分65
AWS 在 Amazon SageMaker AI 上实现 Fused MoE 内核优化，吞吐量提升 10%
Mixture-of-Experts kernel engineering on Amazon SageMaker AI
AI 导读
AWS 团队为 Fused MoE 模型实现了三项内核优化：Swap-AB 转置对齐 WGMMA 硬件布局、FP8 量化模型切换至 Triton 后端路由、添加 do_not_specialize 注解消除 Triton JIT 重编译。
推荐理由
文章提供了三项可复用的内核优化路径和具体数字，从事推理系统或 GPU 优化的工程师可以直接参考或迁移。
来源：AWS Machine Learning Blog · aws.amazon.com