Un interesado pide un modelo de machine learning, pero tú crees que una regla simple bastaría. ¿Cómo lo manejas?

Poneos de acuerdo primero en la decisión y en la métrica de éxito, y luego propón la regla como la línea base que el modelo tiene que superar. Construye la heurística en un día o dos, mídela y enseña el número. Si un modelo la supera lo bastante como para justificar el mantenimiento, construye el modelo; si no, has entregado valor en una semana y has dejado la puerta abierta.

No discutiría sobre si hace falta machine learning, porque eso es una discusión de gustos. Preguntaría qué decisión impulsa esto y cómo sabríamos que funcionó. Luego diría: hagamos que la regla sea la línea base. Dadme dos días, construyo la heurística, la medimos con la misma métrica, y si un modelo la supera lo bastante como para merecer la pena, construyo el modelo encantado. Eso reencuadra la cosa: ya no soy yo diciendo que no, somos nosotros haciendo una prueba. Hice exactamente esto con una petición de scoring de leads. La regla eran tres condiciones sobre tamaño de empresa, visitas de página y solicitudes de demo. Capturaba casi toda la mejora alcanzable, y la versión con gradient boosting que construí después añadía unos pocos puntos de precisión. El equipo lo comparó con el coste de un pipeline de reentrenamiento, monitorización y alguien haciéndose cargo, y eligió la regla durante un año. Se lanzó en una semana en lugar de un trimestre. También señalo que un modelo es un compromiso permanente: deriva, necesita monitorización, alguien recibe una alerta de madrugada. Una regla no.