跳到正文
AWS Machine Learning Blog· Josh Longenecker·· 2 小时前AI 评分34

在 AWS Trainium 上用 torchtitan 训练 Qwen3

Train Qwen3 on AWS Trainium with torchtitan

AI 导读

AWS 博客演示在单台 trn2.48xlarge 上用 torchtitan 训练 Qwen3-4B-Instruct-2507,给出三种配置:Transformers v5 作为建模后端、切换 config.model_spec 使用 torchtitan 原生 Qwen3、以及挂载 NKI MoE kernel。

来源:AWS Machine Learning Blog · aws.amazon.com