La empresa quiere añadir una funcionalidad de resúmenes con un LLM. ¿Cómo evaluarías si es lo bastante buena para lanzarla?

Define qué significa bueno para esta tarea antes de generar nada, y luego construye un conjunto fijo de evaluación con entradas reales y salidas puntuadas con una rúbrica. Combina comprobaciones automáticas (consistencia factual con la fuente, validez de formato, tasas de rechazo y latencia) con revisión humana por muestreo. Lanza detrás de una bandera, mide el comportamiento del usuario aguas abajo, y conserva el conjunto de evaluación como suite de regresión para los cambios de versión del modelo.

La trampa aquí es que las diez primeras salidas siempre parecen increíbles y todo el mundo quiere lanzar. Así que antes de generar nada escribo qué significa bueno: fiel al documento fuente, cubre los puntos clave, longitud correcta, sin hechos inventados. Luego saco un par de cientos de entradas reales, cargadas hacia los casos difíciles y no hacia los bonitos, y congelo eso como conjunto de evaluación. En el lado automático compruebo la consistencia factual con la fuente, la validez del formato y la tasa de rechazo, y uso un modelo como juez para las puntuaciones de la rúbrica, pero solo después de calibrarlo contra notas humanas en un subconjunto, porque un juez sin anclaje sobre todo está de acuerdo consigo mismo. Un humano sigue puntuando una muestra en cada ciclo. Luego lanzo detrás de una bandera a una porción del tráfico y miro qué hacen los usuarios de verdad: ¿editan el resumen?, ¿abren igualmente el documento completo? Ese comportamiento aguas abajo es la métrica real. Y conservo el conjunto de evaluación como suite de regresión, porque cuando el proveedor actualiza el modelo por debajo el comportamiento cambia, y quieres enterarte por tus propias pruebas y no por los tickets de soporte.