Comment vous assurez-vous qu'une analyse que vous avez faite il y a trois mois peut être reproduite ?

Gardez le code sous gestion de versions plutôt que dans un notebook local ou un onglet de requête improvisé, paramétrez les dates au lieu de les écrire en dur, et notez de quelles tables sources et de quel instantané ou date d'exécution viennent les chiffres. Documentez les définitions et toute exclusion manuelle directement dans le code. Si les tables sous-jacentes sont modifiables, sauvegardez le résultat agrégé à côté du code pour que les chiffres publiés restent vérifiables.

L'essentiel, c'est que le code vive ailleurs que sur ma machine, donc dans un dépôt plutôt que dans un notebook sans titre ou un onglet de requête que je fermerai vendredi. Les dates sont paramétrées, parce qu'écrire une plage de dates en dur fait que la personne suivante relance discrètement sur une autre fenêtre et obtient une autre réponse sans le moindre avertissement. Je note quelles tables j'ai utilisées et quand j'ai lancé le calcul, et surtout toute décision manuelle : si j'ai exclu des comptes de test ou une semaine anormale, c'est écrit dans le fichier plutôt que logé dans ma mémoire. Le problème subtil, c'est que les tables sources changent. Quelqu'un relance ma requête en mars et obtient d'autres chiffres, non pas parce que je me trompais mais parce qu'une dimension de type 1 a été écrasée ou que des données en retard sont arrivées. Pour tout ce qui est publié, je sauvegarde donc le résultat agrégé à côté du code. Comme ça, quand quelqu'un remet un chiffre en question six mois plus tard, je peux montrer à quoi ressemblaient les données à l'époque et ce qui a changé depuis.