Seu modelo não cabe mais numa única GPU. Quais são suas opções para distribuir o treino?

Se o modelo cabe mas você quer throughput, use paralelismo de dados: replique o modelo, divida o batch, faça all reduce dos gradientes. Se ele não cabe, fragmente. Paralelismo de tensor divide camadas individuais entre dispositivos, paralelismo de pipeline atribui camadas diferentes a estágios diferentes, e fully sharded data parallel divide parâmetros, gradientes e estado do otimizador entre os ranks. Treinos grandes normalmente combinam tudo isso.

A primeira pergunta é se não cabe ou se só está lento, porque são problemas diferentes. Se cabe, paralelismo de dados é o ganho fácil: cada GPU guarda uma réplica completa, cada uma pega uma fatia do batch, e você faz all reduce dos gradientes antes do passo. Isso escala bem até o all reduce saturar o seu interconnect. Se realmente não cabe, eu olho a composição da memória primeiro, porque com o Adam o estado do otimizador é aproximadamente o dobro da contagem de parâmetros em fp32, então os pesos costumam ser a minoria do footprint. Isso aponta direto para paralelismo de dados fragmentado, FSDP ou ZeRO estágio três, que divide parâmetros, gradientes e estado do otimizador entre os ranks e os reúne na hora certa. Isso normalmente basta e mantém o modelo de programação simples. Além disso você vai para paralelismo de tensor, dividindo os matmuls dentro de uma camada entre dispositivos, o que precisa de interconnect rápido porque comunica a cada camada, então eu mantenho dentro de um nó. Paralelismo de pipeline coloca camadas diferentes em dispositivos diferentes e você combate o overhead de bolha com micro batching. Antes de tudo isso eu tento gradient checkpointing e precisão mista, porque às vezes só isso já te traz de volta para dentro do limite.