¿Cómo detectas fuga de datos en un modelo?

Sospecha de fuga siempre que el rendimiento sea sorprendentemente bueno. Las comprobaciones principales: busca variables con una importancia inverosímil, confirma que cada variable era conocible en el momento de la predicción, verifica que el preprocesado se ajustó dentro del fold de entrenamiento, y comprueba que ninguna entidad aparece a la vez en entrenamiento y en test. Una caída brusca de lo offline a producción suele ser la fuga saliendo a la luz.

Mi disparador son las buenas noticias. Si un modelo salta a 0,97 de AUC en un problema que el negocio considera difícil, asumo que he filtrado algo hasta demostrar lo contrario. La prueba principal que aplico a cada variable es una pregunta de marca temporal: en el momento en que puntuamos este registro en producción, ¿existiría este valor y tendría este valor? Fallan sorprendentemente muchas. La peor que pillé fue una variable llamada estado de la cuenta. Parecía inocente, pero el equipo de operaciones la actualizaba a cerrada después de que un cliente se diera de baja, y la instantánea de entrenamiento guardaba el valor actual en vez del valor en la fecha de predicción, así que el modelo estaba leyendo la respuesta. Quitarla bajó el AUC de unos 0,94 a 0,79, que era el número real. Más allá de eso compruebo que escaladores, codificadores y cualquier remuestreo se ajustaron dentro del fold, que ningún ID de cliente cruza entrenamiento y test, y que las codificaciones por objetivo se calcularon fuera del fold. Y miro la importancia de las variables pronto, no como un paso de informe al final, porque una sola variable cargando con la mayor parte del modelo suele ser una fuga y no un descubrimiento.