Quando você otimizaria recall em vez de precisão, e como você define o limiar na prática?

Otimize recall quando um positivo perdido custa mais do que um alarme falso, como em triagem de fraude ou detecção de doença, onde um humano revisa cada sinalização de qualquer jeito. Otimize precisão quando agir sobre um positivo é caro ou incômodo, como enviar ofertas ou bloquear contas. Defina o limiar pelo custo esperado em vez de aceitar 0.5 por padrão, varrendo limiares e escolhendo a menor perda esperada.

Eu começo perguntando o que acontece com cada tipo de erro. Em uma fila de fraude, um falso negativo é dinheiro saindo pela porta mais um chargeback, enquanto um falso positivo custa trinta segundos do tempo de um analista, então o recall ganha e eu empurro o limiar para baixo. Em um modelo de notificação push é o contrário: um falso positivo irrita um usuário real e pode custar uma desinstalação, então eu quero precisão mesmo alcançando menos gente. Para escolher o número de fato, eu coloco um custo aproximado em cada tipo de erro, varro o limiar no conjunto de validação e ploto o custo esperado. Normalmente aparece uma bacia clara, e eu pego o meio da bacia em vez do mínimo exato, porque o mínimo pula entre os folds. A restrição que as pessoas esquecem é a capacidade. Em um projeto de fraude a curva de custo dizia para sinalizar cerca de quatro por cento das transações, mas o time de revisão dava conta de mais ou menos mil casos por dia, então o limiar real era o que produzisse mil. Eu falei isso abertamente em vez de fingir que a escolha era puramente estatística.