El ROC AUC engaña cuando los positivos son raros, porque la tasa de falsos positivos tiene un denominador enorme, así que un aluvión de falsas alarmas apenas mueve la curva. Un modelo puede sacar 0,95 de ROC AUC y aun así ser inservible en un escenario de fraude o de enfermedad. Usa en su lugar el AUC de precisión y recall, o la precisión a un recall fijo o a un presupuesto de alertas, que refleja lo que los revisores viven de verdad.
Por qué lo preguntan los entrevistadores
Los entrevistadores usan esto para descubrir si eliges métricas por costumbre o por la forma del problema. El ROC AUC es lo que sale por defecto en todos los tutoriales y está genuinamente bien con datos equilibrados, así que lo que quieren es el modo de fallo concreto: la rareza infla el denominador de negativos. Nombrar una alternativa orientada a la decisión, como la precisión en el top k, demuestra que conectas la evaluación con el uso real del modelo.
Cómo estructurar tu respuesta
- Enuncia el caso de fallo: positivos raros y una clase negativa enorme.
- Explica mecánicamente por qué la tasa de falsos positivos se mantiene baja.
- Nombra el AUC de precisión y recall y la precisión a un presupuesto fijo.
- Ata la elección a lo que ve quien consume el modelo.
Ejemplo de respuesta
El ROC AUC se rompe cuando los positivos son raros. El eje x es la tasa de falsos positivos, que son los falsos positivos entre todos los negativos, así que si tienes un millón de negativos, diez mil falsas alarmas son una tasa de falsos positivos del uno por ciento. La curva apenas se entera. Mientras tanto, la persona que trabaja la cola ve diez mil alertas basura por unos pocos cientos de reales y, con toda la razón, deja de confiar en el modelo. Así que miro el AUC de precisión y recall, que pone la precisión en el eje y y por tanto es sensible justo a eso. Mejor todavía, informo de la precisión en el punto de operación que vamos a usar de verdad. En un modelo de fraude que lancé, el ROC AUC era 0,96 y el número que importaba era que, en las mil puntuaciones más altas al día, la precisión era del 31 por ciento. Ese es el número que siente el equipo de revisión, y es el que se movió cuando mejoré las variables. En problemas equilibrados el ROC AUC está bien y lo uso encantado; es específicamente el caso de positivos raros donde adula al modelo.
¿Tienes esta entrevista a la vuelta de la esquina? GhostPilot escucha tu llamada en vivo, detecta la pregunta en cuanto la hacen y pone una respuesta estructurada en tu pantalla en tiempo real. Pruébalo en tu próxima entrevista de práctica, o coge un Session Pass de $29, sin suscripción, para la de verdad.
Mira cómo funcionaPreguntas de seguimiento que puedes esperar
- ¿Por qué la línea base de precisión y recall depende de la tasa de positivos?
- ¿Cómo comparas dos modelos cuyas curvas de precisión y recall se cruzan?
- ¿Qué es el lift del primer decil y cuándo es el informe adecuado?
Más preguntas para Científico de datos
Tu entrevistador hará su propia versión de esta. Pega la descripción real del puesto en el Question Predictor gratuito y obtén las 20 preguntas que ese puesto tiene más probabilidades de hacerte, con lo que cada una busca en realidad.
Predecir mis preguntas