Deux de vos prédicteurs ont une corrélation de 0,95. Est-ce que ça pose problème, et qu'en faites-vous ?

Cela dépend de votre objectif. Pour de la pure prédiction, la colinéarité nuit à peine à la performance ; le modèle se contente de répartir le poids entre les jumeaux. Pour de l'inférence, c'est sérieux : les coefficients deviennent instables et leurs erreurs types gonflent, donc les signes peuvent s'inverser d'un échantillon à l'autre et vous ne pouvez pas dire quelle variable pilote le résultat. Regardez les facteurs d'inflation de la variance, puis supprimez-en une, combinez-les, ou utilisez une ridge.

Ma première question est de savoir à quoi sert le modèle. Si on score des leads et que personne ne lit les coefficients, une corrélation de 0,95 est surtout inoffensive. L'ajustement est bon, les prédictions sont bonnes, le poids se répartit simplement entre les deux variables d'une façon arbitraire. Là où ça mord, c'est quand quelqu'un compte agir sur les coefficients. Alors c'est un vrai problème, parce que cette répartition est instable : réajustez sur un échantillon légèrement différent et un coefficient bascule au positif pendant que l'autre bascule au négatif, et les erreurs types sont assez larges pour qu'aucun ne paraisse significatif alors que la paire compte manifestement. Je regarde le VIF, et tout ce qui dépasse dix environ, je le traite comme suspect. Le correctif dépend de la paire. Si ce sont deux mesures de la même chose, comme le chiffre d'affaires et le chiffre d'affaires en devise locale, j'en supprime une. Si ce sont vraiment deux facettes d'une même réalité, je les combine en un ratio ou en une composante unique. Si j'ai besoin des deux et que seule la qualité de prédiction m'intéresse, la ridge gère ça proprement en partageant le poids de façon stable plutôt qu'arbitraire.