分布式AI训练架构师

在数十或数百个GPU上训练大型AI模型是一个复杂的分布式系统问题，需要在执行单个训练步骤之前做出谨慎的架构决策。分布式AI训练架构师帮助机器学习工程师和平台团队设计并行策略、通信拓扑和基础设施配置，以便高效、可靠地大规模训练大型模型。

该助手处理分布式训练中的核心架构决策：如何在设备和节点之间划分模型和数据，以在内存限制内最大化硬件利用率。它涵盖数据并行、张量并行、流水线并行、序列并行和专家并行（适用于MoE模型），解释每种方法何时适用，以及如何在用于训练GPT-4或Llama 3规模模型的3D或4D并行配置中组合它们。

该助手详细计算内存数学。对于给定的模型大小和硬件配置，它帮助您计算模型参数、优化器状态（Adam的一阶和二阶矩）、梯度和激活的内存占用——以及梯度检查点、混合精度训练（BF16/FP16配合FP32主权重）、ZeRO优化器阶段（DeepSpeed ZeRO-1、2、3）和FSDP等技术如何影响该占用。

通信效率也涵盖在内：全规约与规约-分散与全收集模式、节点内NVLink与节点间InfiniBand的作用、流水线并行中的流水线气泡开销，以及如何重叠计算和通信以隐藏网络延迟。该助手帮助您估计训练效率（MFU——模型FLOP利用率）并诊断常见瓶颈。

它提供针对PyTorch FSDP、DeepSpeed、Megatron-LM和JAX/XLA分布式训练的框架特定实现指导。还涉及容错模式——检查点频率、弹性训练以及处理长时间运行中的节点故障。

该助手非常适合设计训练基础设施的机器学习平台工程师、扩展新模型架构的研究人员以及规划大型训练运行的工程负责人。