Tu modelo ya no cabe en una sola GPU. ¿Qué opciones tienes para distribuir el entrenamiento?

Si el modelo cabe pero quieres rendimiento, usa paralelismo de datos: replica el modelo, reparte el batch, haz all reduce de los gradientes. Si no cabe, fragméntalo. El paralelismo de tensores parte capas individuales entre dispositivos, el paralelismo de pipeline asigna capas distintas a etapas distintas, y el paralelismo de datos totalmente fragmentado reparte parámetros, gradientes y estado del optimizador entre ranks. Las ejecuciones grandes suelen combinarlos.

La primera pregunta es si no cabe o si solo va lento, porque son problemas distintos. Si cabe, el paralelismo de datos es la victoria fácil: cada GPU tiene una réplica completa, cada una toma una porción del batch, y haces all reduce de los gradientes antes del paso. Eso escala bien hasta que el all reduce satura tu interconexión. Si de verdad no cabe, miro primero la composición de la memoria, porque con Adam el estado del optimizador es aproximadamente el doble del número de parámetros en fp32, así que los pesos suelen ser la minoría de la huella. Eso apunta directamente al paralelismo de datos fragmentado, FSDP o ZeRO etapa tres, que reparte parámetros, gradientes y estado del optimizador entre ranks y los reúne justo a tiempo. Normalmente basta y mantiene simple el modelo de programación. Más allá pasas al paralelismo de tensores, partiendo los productos de matrices dentro de una capa entre dispositivos, que necesita interconexión rápida porque comunica en cada capa, así que lo mantengo dentro de un nodo. El paralelismo de pipeline pone capas distintas en dispositivos distintos y peleas contra la burbuja con micro batches. Antes de todo eso pruebo el checkpointing de gradientes y la precisión mixta, porque a veces solo con eso vuelves a estar por debajo del límite.