Como você escolheria um framework de automação para um projeto novo?

Escolha pela aplicação e pelo time, não pela reputação da ferramenta. Case a linguagem com o que os desenvolvedores já escrevem, para que eles possam contribuir e revisar. Cheque o que a aplicação de fato é (web, mobile, API, desktop) e se a ferramenta lida com as particularidades dela, como iframes, shadow DOM ou múltiplas abas. Depois pese velocidade de execução, paralelismo, integração com CI, relatórios e qualidade da depuração.

Eu começo pelo que estamos de fato testando e pelo que é difícil nisso. Uma aplicação React com componentes em shadow DOM, iframes para pagamento e downloads de arquivo estreita o campo rápido, então eu checo essas coisas específicas em vez de ler uma matriz de funcionalidades. Depois linguagem, e eu peso isso bastante: se o time escreve TypeScript, a suíte é TypeScript, porque aí os desenvolvedores conseguem ler, revisar e corrigir um teste quebrado eles mesmos em vez de jogar de volta para mim. Uma suíte em Java ao lado de uma base de código JavaScript vira propriedade particular de uma pessoa e morre quando essa pessoa sai. Depois disso, o lado prático: execução paralela pronta de fábrica, integração limpa com CI, e o quão boa é a saída quando algo falha. Essa última é subestimada. O trace viewer do Playwright, em que você percorre o DOM no ponto da falha com a atividade de rede ao lado, economiza tanto tempo que decidiria isso sozinho. Depois eu prototipo antes de me comprometer. Eu pego o fluxo mais feio do produto, normalmente autenticação com redirect ou algo dentro de um iframe, e automatizo isso primeiro. Se a coisa mais difícil é gerenciável, o resto vai ser.