Dein Modell passt nicht mehr auf eine einzelne GPU. Welche Optionen hast du, um das Training zu verteilen?

Wenn das Modell passt und du nur Durchsatz willst, nimm Data Parallelism: Modell replizieren, Batch aufteilen, Gradienten per All-Reduce zusammenführen. Wenn es nicht passt, shardest du es. Tensor Parallelism teilt einzelne Layer über Geräte, Pipeline Parallelism weist verschiedene Layer verschiedenen Stages zu, und Fully Sharded Data Parallel verteilt Parameter, Gradienten und Optimizer State über die Ranks. Große Läufe kombinieren das meistens.

Erste Frage ist, ob es nicht passt oder ob es nur langsam ist, weil das verschiedene Probleme sind. Wenn es passt, ist Data Parallel der einfache Gewinn: jede GPU hält eine volle Replik, jede nimmt einen Teil des Batches, und du machst All-Reduce über die Gradienten vor dem Step. Das skaliert gut, bis der All-Reduce dein Interconnect sättigt. Wenn es wirklich nicht passt, schaue ich mir zuerst die Speicherzusammensetzung an, denn mit Adam ist der Optimizer State in fp32 grob doppelt so groß wie die Parameterzahl, die Gewichte sind also oft die Minderheit des Footprints. Das zeigt direkt auf Sharded Data Parallel, FSDP oder ZeRO Stage 3, das Parameter, Gradienten und Optimizer State über die Ranks verteilt und sie just in time einsammelt. Das reicht meistens und hält das Programmiermodell einfach. Darüber hinaus gehst du zu Tensor Parallel, splittest also die Matmuls innerhalb eines Layers über Geräte, was schnelles Interconnect braucht, weil pro Layer kommuniziert wird, ich halte es also innerhalb eines Nodes. Pipeline Parallel legt verschiedene Layer auf verschiedene Geräte und du bekämpfst den Bubble-Overhead mit Micro-Batching. Vor all dem probiere ich Gradient Checkpointing und Mixed Precision, weil dich das manchmal allein schon wieder unter das Limit bringt.