Wie kombinierst du qualitative und quantitative Daten, wenn sie sich widersprechen?

Behandle sie als Antworten auf verschiedene Fragen: Analytics sagt dir, was passiert und in welchem Umfang, qualitative Arbeit sagt dir warum. Wenn sie sich widersprechen, prüf zuerst die Messung (Event-Definitionen, Segmente, Zeiträume), denn Instrumentierung ist öfter falsch, als Leute erwarten. Dann such nach einem Segmenteffekt, denn ein Mittelwert kann zwei Gruppen verstecken, die sich gegenläufig verhalten.

Mein erster Schritt ist nicht, einen Sieger zu küren, sondern zu prüfen, ob wir überhaupt messen, was wir denken. Ich habe aufgehört zu zählen, wie oft sich ein beängstigender Einbruch als ein Event herausstellte, das nach einem Release nicht mehr gefeuert hat, oder als ein Funnel, der einen Schritt doppelt gezählt hat. Also lese ich die Event-Definitionen mit einem Analysten oder Engineer durch, bevor ich mit irgendwem streite. Hält die Messung stand, segmentiere ich. Mittelwerte lügen ständig. In einem Projekt sah die Abschlussrate nach einer Änderung flach aus, und als wir nach Gerät aufgeteilt haben, war Desktop deutlich gestiegen und Mobil fast genau um dasselbe gefallen. Das sind zwei verschiedene Geschichten und der Mittelwert hatte beide ausradiert. Die Interviews haben dann die Mobil-Seite erklärt: die primäre Aktion lag auf kleineren Bildschirmen mit offener Tastatur unterhalb des sichtbaren Bereichs. So ist das Muster generell. Die Zahlen sagen mir, wohin ich die Kamera richte, die Sessions sagen mir, was im Bild passiert, und keins von beiden allein hätte für die Entscheidung gereicht.