AWS讲解用torchtitan训练Qwen3

2026年10月22日，AWS Machine Learning Blog发布教程，讲解如何在单台AWS Trainium trn2.48xlarge上使用torchtitan训练Qwen3。示例提供三种配置：Transformers v5、torchtitan原生Qwen3实现和NKI MoE内核；三者均通过相同的torchrun启动模式，在64个逻辑NeuronCore上运行。读者需使用单台trn2.48xlarge，以及AWS Deep Learning AMI for Neuron或Neuron PyTorch训练容器，并按教程固定软件版本。为使示例适配单台trn2.48xlarge，Qwen3-30B-A3B被缩减为4层和64个专家；序列长度须设为128×LNC的倍数，LNC为2时为256。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。