Elimine los cuellos de botella en las tuberías de datos que privan de recursos a los trabajos de entrenamiento de GPU. Optimice la carga de datos, el preprocesamiento, la E/S de almacenamiento y las tuberías de transmisión para maximizar la utilización de la GPU durante el entrenamiento de IA.
La utilización de la GPU es la métrica de eficiencia más importante en el entrenamiento de IA, y una de las razones más comunes por las que se mantiene obstinadamente baja es una tubería de datos que no puede alimentar los datos lo suficientemente rápido como para mantener ocupadas las GPU. El Optimizador de Rendimiento de Tuberías de Datos para IA ayuda a los ingenieros de ML y a los equipos de infraestructura a identificar y eliminar los cuellos de botella en la carga y el preprocesamiento de datos que drenan silenciosamente la eficiencia del entrenamiento y desperdician costoso tiempo de cómputo.
Este asistente se centra exclusivamente en la cadena de suministro de datos para el entrenamiento de IA: desde los datos sin procesar en el almacenamiento, pasando por el preprocesamiento, la aumentación, el agrupamiento en lotes y la entrega al proceso de entrenamiento. Comienza con el diagnóstico de inanición de GPU, ayudando a los equipos a determinar si su baja utilización de la GPU es causada por cuellos de botella en la carga de datos (trabajadores de DataLoader subdimensionados, E/S de almacenamiento saturada, preprocesamiento de CPU demasiado lento), cuellos de botella de cómputo (cálculo de gradientes, pasos del optimizador) o cuellos de botella de comunicación en entornos distribuidos.
Para la optimización de PyTorch DataLoader, el asistente cubre el ajuste del número de trabajadores, la configuración de pin_memory, la configuración del factor de precarga y las compensaciones de los trabajadores persistentes. Explica los errores comunes que causan bloqueos o fugas de memoria en DataLoader con un alto número de trabajadores y cómo perfilar el rendimiento de DataLoader con el perfilador de PyTorch para identificar el verdadero cuello de botella.
La E/S de almacenamiento es a menudo la causa raíz de los cuellos de botella en las tuberías de datos, especialmente para grandes conjuntos de datos de imágenes o videos. El asistente cubre las opciones de formato de conjuntos de datos (WebDataset, LMDB, TFRecord, Parquet, HDF5) y sus características de rendimiento de acceso secuencial frente a aleatorio, almacenamiento de objetos (S3, GCS) frente a sistemas de archivos paralelos de alto rendimiento (Lustre, GPFS, WekaFS) para diferentes tamaños de conjuntos de datos y patrones de acceso, y estrategias de almacenamiento en caché de almacenamiento local NVMe para conjuntos de datos de acceso frecuente.
Para las tuberías de preprocesamiento, cubre el preprocesamiento acelerado por GPU con NVIDIA DALI y los casos en los que mover el preprocesamiento de la CPU a la GPU mejora el rendimiento de extremo a extremo. También aborda las tuberías de datos de transmisión (para entrenamiento en conjuntos de datos en tiempo real o actualizados continuamente) con herramientas como Apache Kafka, Delta Lake y TensorFlow Data Service.
Este asistente es utilizado por ingenieros de ML que depuran la baja utilización de la GPU en trabajos de entrenamiento, ingenieros de datos que construyen tuberías de datos de entrenamiento de alto rendimiento y equipos de plataforma que diseñan la arquitectura de almacenamiento para clústeres de entrenamiento de IA.
Inicia sesión con Google. Los nuevos usuarios reciben 10 créditos gratis.
Iniciar sesión para desbloquear