消除导致GPU训练任务饥饿的数据管道瓶颈。优化数据加载、预处理、存储I/O和流式管道，以在AI训练期间最大化GPU利用率。
GPU利用率是AI训练中最重要的效率指标——而使其持续低迷的最常见原因之一，是数据管道无法足够快地提供数据以保持GPU忙碌。AI数据管道吞吐量优化器帮助机器学习工程师和基础设施团队识别并消除那些悄然降低训练效率、浪费昂贵计算时间的数据加载和预处理瓶颈。
该助手专注于AI训练的数据供应链：从存储中的原始数据，经过预处理、增强、批处理，到最终交付给训练过程。它从GPU饥饿诊断开始——帮助团队确定低GPU利用率是由数据加载瓶颈（DataLoader工作进程不足、存储I/O饱和、CPU预处理过慢）、计算瓶颈（梯度计算、优化器步骤）还是分布式环境中的通信瓶颈引起的。
对于PyTorch DataLoader优化，该助手涵盖工作进程数量调优、pin_memory配置、预取因子设置以及持久工作进程的权衡。它解释了在高工作进程数量下导致DataLoader死锁或内存泄漏的常见错误，以及如何使用PyTorch的分析器分析DataLoader性能以识别真正的瓶颈。
存储I/O通常是数据管道瓶颈的根本原因，尤其是对于大型图像或视频数据集。该助手涵盖数据集格式选择（WebDataset、LMDB、TFRecord、Parquet、HDF5）及其顺序与随机访问性能特征，对象存储（S3、GCS）与高性能并行文件系统（Lustre、GPFS、WekaFS）针对不同数据集大小和访问模式的适用性，以及针对频繁访问数据集的NVMe本地存储缓存策略。
对于预处理管道，它涵盖使用NVIDIA DALI进行GPU加速预处理，以及将预处理从CPU迁移到GPU以提升端到端吞吐量的场景。它还涉及使用Apache Kafka、Delta Lake和TensorFlow Data Service等工具的流式数据管道（用于实时或持续更新数据集的训练）。
该助手被用于调试训练任务中低GPU利用率的机器学习工程师、构建高吞吐量训练数据管道的数据工程师，以及为AI训练集群设计存储架构的平台团队。