Comment mettriez-vous un intervalle de confiance sur un indicateur sans forme analytique propre, comme la durée médiane de session ?

Faites un bootstrap. Rééchantillonnez vos données avec remise jusqu'à la taille d'origine, calculez la médiane sur chaque rééchantillon, répétez quelques milliers de fois, puis prenez les 2,5e et 97,5e percentiles de cette distribution comme intervalle à 95%. Cela ne demande aucune hypothèse de distribution et fonctionne pour les médianes, les ratios et d'autres statistiques peu commodes, à condition que les observations rééchantillonnées soient indépendantes.

Je fais un bootstrap. On tire les observations avec remise jusqu'à la taille de l'échantillon d'origine, on calcule la médiane sur ce rééchantillon, on la stocke, et on répète quelques milliers de fois. L'étalement de ces médianes est une distribution d'échantillonnage empirique, et je prends les 2,5e et 97,5e percentiles comme intervalle. C'est facile à implémenter et ça marche pour des statistiques sans formule élégante, ce qui est le cas de la plupart des statistiques intéressantes : médianes, 90e percentiles, ratios de deux indicateurs, différences de médianes entre groupes. L'hypothèse qui mord vraiment, c'est l'indépendance. Si je fais un bootstrap sur la durée de session et qu'un utilisateur intensif a quatre cents sessions, rééchantillonner des sessions individuelles traite ça comme quatre cents faits indépendants et l'intervalle sort bien trop étroit. Je rééchantillonne donc des utilisateurs, pas des sessions, en emportant toutes les sessions de l'utilisateur avec lui. Même idée pour les séries temporelles, où je fais un bootstrap par blocs contigus pour préserver l'autocorrélation. Trompez-vous d'unité de rééchantillonnage et vous obtenez un intervalle serré, plein d'assurance et complètement faux.