Deine Analyse zeigt, dass Nutzer eines Features doppelt so gut halten. Kannst du dem Produktteam sagen, es soll alle da reindrücken?

Nein, nicht aus diesem Vergleich. Nutzer, die ein Feature adoptieren, selektieren sich selbst: Sie waren schon vorher engagierter, und das treibt sowohl Adoption als auch Retention, also ist der Großteil der Lücke konfundiert. Für eine Kausalaussage brauchst du ein randomisiertes Experiment oder ein glaubwürdiges quasi-experimentelles Design wie Difference in Differences, eine Instrumentvariable oder eine Regression Discontinuity an einer Eligibility-Schwelle.

Ich würde freundlich widersprechen. Die Leute, die dieses Feature eingeschaltet haben, sind kein Zufallssample. Es sind die, die schon tief genug im Produkt waren, um es zu finden. Vorheriges Engagement treibt sowohl Adoption als auch Retention, also ist der Großteil dieser 2x wahrscheinlich die Nutzergruppe und nicht das Feature. Die saubere Antwort ist ein randomisierter Rollout: einen Anteil zurückhalten, das Feature für die Treatment-Gruppe einschalten oder sie zumindest anstoßen, und Retention messen. Das dauert ein paar Wochen, also mache ich in der Zwischenzeit etwas Nützlicheres als die Schultern zu zucken. Ich matche auf Verhalten in der Vorperiode, vergleiche also Adopter mit Nicht-Adoptern, die im Monat vor der Adoption identisch aussahen, und schaue, wie viel von der Lücke übrig bleibt. In einem Projekt dieser Art lag die rohe Lücke bei etwa 2x, und Matching hat sie auf rund 1,2x gedrückt. Immer noch etwas wert, aber ein völlig anderer Business Case. Ich gebe ihnen beide Zahlen und sage klar, dass die gematchte eine Obergrenze für den Kausaleffekt ist und keine Messung davon.