Vérifiez d'abord que le test aurait pu détecter quoi que ce soit : taille d'échantillon, durée couvrant un cycle hebdomadaire complet, et fait que le changement soit réellement parvenu au groupe de traitement, puisque les bugs d'instrumentation causent plus de résultats plats que les mauvaises idées. Ensuite segmentez, parce qu'une moyenne plate cache souvent un vrai gain sur une cohorte annulé par une perte sur une autre. Si ça survit à ça, appelez-le un vrai résultat nul et décidez sur le coût.
Pourquoi les recruteurs posent cette question
C'est un contrôle de culture expérimentale déguisé en scénario. Le recruteur veut voir que vous vous méfiez d'un résultat nul avant de vous méfier de l'idée, que vous comprenez la puissance statistique et les effets de nouveauté, et que vous savez dire qu'un résultat est réellement nul sans le tourner à votre avantage. Point bonus si vous admettez qu'une bonne partie des tests plats sont des tests cassés, ce que seuls les gens qui en ont vraiment mené disent.
Comment structurer votre réponse
- Remettez en question le test avant de remettre en question l'idée.
- Vérifiez la puissance, la durée, et le fait que la variante ait bien été livrée.
- Segmentez pour chercher des effets qui s'annulent.
- Énoncez honnêtement le résultat nul et décidez selon le coût de maintenance.
Exemple de réponse
La première chose que je vérifie, c'est si le test aurait pu détecter quoi que ce soit. Était-il dimensionné pour la taille d'effet qui nous intéressait, a-t-il tourné sur un cycle hebdomadaire complet, et le changement est-il réellement parvenu aux gens du groupe de traitement. Ce dernier point attrape plus de résultats plats que les mauvaises idées. J'ai eu un jour un test où un feature flag ne s'évaluait pas pour une partie du groupe de traitement, donc on mesurait rien contre rien pendant onze jours. Une fois que je fais confiance à la tuyauterie, je segmente, parce qu'un chiffre global plat cache souvent une vraie hausse chez les nouveaux utilisateurs annulée par une baisse chez les utilisateurs intensifs, et c'est un résultat bien plus intéressant que la moyenne. Si c'est réellement nul, je le dis franchement plutôt que de chercher une tranche qui a l'air bien. Ensuite la décision porte sur le coût : pas cher à garder et inoffensif, on garde ; sinon, on l'enlève.
Vous passez cet entretien bientôt ? GhostPilot écoute votre appel en direct, repère la question dès qu'elle est posée et affiche une réponse structurée à l'écran en temps réel. Essayez-le lors de votre prochain entretien blanc, ou prenez un Session Pass à $29, sans abonnement, pour le jour J.
Voir comment ça marcheQuestions de relance à prévoir
- Comment décidez-vous de l'effet minimal détectable avant de commencer ?
- Quelle est votre règle sur le fait de jeter un oeil aux résultats en cours de route ?
- Quand un test A/B est-il complètement le mauvais outil ?
Autres questions pour Chef de produit
Votre recruteur posera sa propre version de celle-ci. Collez votre véritable fiche de poste dans le Question Predictor gratuit et obtenez les 20 questions que ce poste a le plus de chances de poser, avec ce que chacune cherche vraiment à sonder.
Prédire mes questions