Ein Produktteam bittet dich, eine North-Star-Metrik für ihr Feature zu definieren. Wie gehst du das an?

Fang bei dem Nutzen an, den das Feature dem Nutzer liefert, und such dann das messbare Verhalten, das diesem Nutzen am nächsten kommt. Eine gute Metrik bewegt sich, wenn das Produkt tatsächlich besser wird, ist schwer zu manipulieren und liegt schnell genug vor, um Entscheidungen zu leiten. Kombinier sie mit Gegenmetriken, die Schaden auffangen, und nimm lieber eine Rate oder einen Wert pro Nutzer als eine rohe Gesamtsumme, denn Summen steigen mit Wachstum, unabhängig von Qualität.

Ich fange damit an zu fragen, was das Feature für den Nutzer leisten soll, denn die Metrik sollte der nächstliegende beobachtbare Proxy dafür sein. Danach stress-teste ich sie, indem ich frage, wie ich sie manipulieren würde, wenn ich zynisch wäre. Bei einer Suchfunktion klingen Klicks pro Suche vernünftig, bis dir auffällt, dass schlechte Ergebnisse auch Klicks erzeugen, eine schlechtere Erfahrung die Zahl also nach oben treibt. Etwas wie der Anteil der Suchen, die innerhalb von fünf Minuten in einer abgeschlossenen Aktion enden, ist schwerer zu faken. Ich kombiniere sie immer mit Gegenmetriken, wenn wir also Benachrichtigungen auf Engagement optimieren, stehen Abmelde- und Deinstallationsrate direkt daneben im selben Chart. Und ich dränge auf Raten statt Summen, denn die Gesamtzahl der Sessions steigt, während die Firma wächst, und sagt dir nichts darüber, ob das Feature gut ist. Der letzte Teil ist, die Definition schriftlich mit dem Product Manager zu vereinbaren, bevor irgendjemand ein Dashboard baut, denn eine Metrik umzubenennen, nachdem Leute Ziele darauf haben, ist schmerzhaft.