使用 torchtitan 在 AWS Trainium 上训练 Qwen3

本文演示了如何使用 torchtitan 在单台 AWS Trainium trn2.48xlarge 上以三种方式训练 Qwen3。三种方案分别使用 Transformers v5、torchtitan 原生 Qwen3 实现和 NKI MoE 内核，均通过相同的 torchrun 启动模式在 64 个逻辑 NeuronCore 上运行。