Wie entscheidest du, was du mit fehlenden Werten in einem Datensatz machst?

Finde zuerst heraus, warum die Werte fehlen, denn der Mechanismus bestimmt den Fix. Missing Completely at Random verträgt einfache Imputation, Missing at Random braucht Imputation bedingt auf beobachtete Variablen, Missing Not at Random heißt, dass das Fehlen selbst Signal ist und ein Feature werden sollte. Nie vor dem Split imputieren, und immer ein war-fehlend-Flag ergänzen, wenn das Muster Information trägt.

Das Erste, was ich mache, ist nicht statistisch, sondern ein Gespräch mit dem, dem das Feld gehört. Fehlend heißt meist etwas Bestimmtes. In einem Kreditdatensatz, an dem ich gearbeitet habe, war Einkommen bei etwa einem Fünftel der Zeilen leer, und die kamen aus einem Fast-Track-Antragsflow, der nie danach gefragt hat. Das ist überhaupt nicht zufällig, und diese Antragsteller sind mit einer anderen Rate ausgefallen, also war die Tatsache des Leerfelds einer der stärksten Prädiktoren im Modell. Ich habe ein Is-Missing-Flag ergänzt und es hat sich seinen Platz verdient. Mechanisch: Wenn es wirklich zufälliges Rauschen ist und die Spalte weitgehend vollständig, reicht Median-Imputation plus Flag. Hängt es von anderen beobachteten Variablen ab, nutze ich iterative oder modellbasierte Imputation. Fehlt mehr als etwa die Hälfte einer Spalte, werfe ich sie meist raus, denn ab da imputiere ich vor allem meine eigenen Annahmen. Und was immer ich nutze, wird nur auf dem Trainingssplit gefittet und dann auf die Validierung angewendet, denn ein Median über den ganzen Datensatz leakt still und leise.