Zwei deiner Prädiktoren korrelieren mit 0,95. Ist das ein Problem, und was machst du dagegen?

Kommt auf dein Ziel an. Für reine Prediction schadet Kollinearität der Genauigkeit kaum, das Modell teilt das Gewicht einfach zwischen den Zwillingen auf. Für Inferenz ist es ernst: Koeffizienten werden instabil, ihre Standardfehler blähen sich auf, Vorzeichen können zwischen Samples kippen und du kannst nicht sagen, welche Variable das Ergebnis treibt. Prüf Variance Inflation Factors, dann eine rauswerfen, kombinieren oder Ridge nutzen.

Meine erste Frage ist, wofür das Modell da ist. Wenn wir Leads scoren und niemand die Koeffizienten liest, ist eine Korrelation von 0,95 weitgehend harmlos. Der Fit ist in Ordnung, die Vorhersagen sind in Ordnung, das Gewicht wird nur irgendwie zwischen den beiden Variablen aufgeteilt. Beißen tut es, wenn jemand auf Basis der Koeffizienten handeln will. Dann ist es ein echtes Problem, weil diese Aufteilung instabil ist: Refit auf einem leicht anderen Sample und ein Koeffizient schlägt ins Positive, der andere ins Negative, und die Standardfehler sind so breit, dass keiner signifikant aussieht, obwohl das Paar offensichtlich relevant ist. Ich prüfe VIF, und alles über etwa zehn behandle ich als verdächtig. Der Fix hängt vom Paar ab. Sind es zweimal dasselbe, etwa Umsatz und Umsatz in Landeswährung, werfe ich eines raus. Sind es wirklich zwei Facetten von etwas, kombiniere ich sie zu einer Ratio oder einer Komponente. Brauche ich beide und zählt nur Vorhersagequalität, löst Ridge das sauber, indem es das Gewicht stabil statt willkürlich aufteilt.