A empresa quer adicionar uma feature de resumo com LLM. Como você avaliaria se ela está boa o bastante para lançar?

Defina o que significa bom para essa tarefa antes de gerar qualquer coisa, e depois monte um conjunto fixo de avaliação com entradas reais e saídas pontuadas por rubrica. Combine checagens automáticas (consistência factual com a fonte, validade de formato, taxas de recusa e latência) com revisão humana por amostragem. Lance atrás de uma flag, meça o comportamento do usuário lá na frente e mantenha o conjunto de avaliação como suíte de regressão para mudanças de versão do modelo.

A armadilha aqui é que as dez primeiras saídas sempre parecem incríveis e todo mundo quer lançar. Então, antes de gerar qualquer coisa, eu escrevo o que significa bom: fiel ao documento de origem, cobre os pontos principais, tamanho certo, sem fatos inventados. Depois eu puxo umas duzentas entradas reais, com peso nos casos difíceis e não nos bonitinhos, e congelo isso como conjunto de avaliação. No lado automático eu checo consistência factual com a fonte, validade de formato e taxa de recusa, e eu uso um modelo como juiz para as notas da rubrica, mas só depois de calibrá-lo contra notas humanas em um subconjunto, porque um juiz sem âncora basicamente concorda consigo mesmo. Um humano ainda avalia uma amostra a cada ciclo. Depois eu lanço atrás de uma flag para uma fatia do tráfego e observo o que os usuários realmente fazem: eles editam o resumo, eles abrem o documento completo mesmo assim. Esse comportamento lá na frente é a métrica de verdade. E eu mantenho o conjunto de avaliação como suíte de regressão, porque quando o provedor atualiza o modelo por baixo de você o comportamento muda, e você quer descobrir isso pelos seus próprios testes e não pelos tickets de suporte.