Non significatif ne veut pas dire aucun effet, cela veut dire que vous n'avez pas pu le distinguer de zéro avec votre taille d'échantillon. Présentez l'intervalle de confiance : s'il exclut tout effet valant la peine d'être déployé, c'est une vraie réponse et il ne faut pas déployer. S'il est large et inclut des valeurs significatives, le test manquait de puissance et les options honnêtes sont de le prolonger, de tester un changement plus audacieux, ou de trancher sur d'autres critères.
Pourquoi les recruteurs posent cette question
C'est là que les analystes se font pousser vers de mauvaises décisions, donc les recruteurs veulent voir de la colonne vertébrale statistique en même temps que du sens pratique. Les signaux clés sont de refuser d'interpréter une non significativité comme une preuve d'absence d'effet, d'utiliser l'intervalle de confiance pour distinguer un zéro précis d'un manque de puissance, et de ne pas cautionner une chasse a posteriori dans les segments pour trouver un gagnant.
Comment structurer votre réponse
- Corrigez l'interprétation d'un résultat non significatif.
- Utilisez l'intervalle de confiance pour juger de la précision contre le manque de puissance.
- Donnez la règle de décision pour chacun de ces deux cas.
- Mettez en garde contre la chasse a posteriori aux segments favorables.
- Dites ce que le test vous a appris malgré tout.
Exemple de réponse
La première chose que je dis, c'est que ce n'est pas une preuve que le changement ne fait rien : c'est qu'on n'a pas pu le distinguer de rien. L'intervalle de confiance décide de la suite. S'il est resserré autour de zéro, disons entre moins 0,3% et plus 0,4%, c'est vraiment informatif : tout effet réel est trop petit pour justifier le coût de maintenance, donc on ne déploie pas, et c'est un résultat utile plutôt qu'un échec. S'il va de moins 4% à plus 6%, on n'a rien appris et le test manquait de puissance : les choix sont de le prolonger si le trafic le permet, de tester une version plus audacieuse de l'idée, ou de trancher sur d'autres critères comme la stratégie ou la cohérence du design, en disant franchement que ce ne sont pas les données qui décident. Ce que je refuse, c'est de découper jusqu'à ce que quelque chose devienne significatif. Si vous examinez assez de segments, vous trouverez un gagnant dans le bruit, et j'ai vu ça faire déployer une fonctionnalité qui s'est ensuite révélée sans le moindre effet.
Vous passez cet entretien bientôt ? GhostPilot écoute votre appel en direct, repère la question dès qu'elle est posée et affiche une réponse structurée à l'écran en temps réel. Essayez-le lors de votre prochain entretien blanc, ou prenez un Session Pass à $29, sans abonnement, pour le jour J.
Voir comment ça marcheQuestions de relance à prévoir
- Comment calculeriez-vous si le test manquait de puissance ?
- Quand est-il acceptable de regarder les segments après coup ?
- Comment annoncez-vous à un product manager que son idée n'a pas fonctionné ?
Autres questions pour Analyste de données
Votre recruteur posera sa propre version de celle-ci. Collez votre véritable fiche de poste dans le Question Predictor gratuit et obtenez les 20 questions que ce poste a le plus de chances de poser, avec ce que chacune cherche vraiment à sonder.
Prédire mes questions