Comment combinez-vous les données qualitatives et quantitatives quand elles se contredisent ?

Traitez-les comme répondant à des questions différentes : l'analytics vous dit ce qui se passe et à quelle échelle, le qualitatif vous dit pourquoi. Quand elles se contredisent, vérifiez d'abord la mesure (définitions d'événements, segments, plages de dates) parce que l'instrumentation est fausse plus souvent qu'on ne le croit. Cherchez ensuite un effet de segment, puisqu'une moyenne peut cacher deux groupes qui se comportent en sens inverse.

Mon premier mouvement n'est pas de choisir un gagnant, c'est de vérifier si on mesure seulement ce qu'on croit mesurer. J'ai perdu le compte des fois où une chute effrayante s'est révélée être un événement qui avait cessé de partir après une mise en production, ou un entonnoir qui comptait une étape deux fois. Je vais donc lire les définitions d'événements avec un analyste ou un ingénieur avant de me disputer avec qui que ce soit. Si la mesure tient, je segmente. Les moyennes mentent constamment. Sur un projet, le taux de complétion avait l'air stable après un changement, et quand on a séparé par appareil il s'est avéré que le desktop avait nettement monté et le mobile baissé d'à peu près autant. Ce sont deux histoires différentes et la moyenne avait effacé les deux. Les entretiens ont ensuite expliqué le côté mobile : l'action principale se trouvait sous la ligne de flottaison sur les petits écrans avec le clavier ouvert. C'est le motif général. Les chiffres me disent où pointer la caméra, les sessions me disent ce qui se passe dans le cadre, et aucune des deux seule n'aurait suffi à trancher.