Meça antes de cortar. Puxe o histórico de consultas agrupado por usuário, ferramenta e warehouse para achar onde o gasto realmente está, já que normalmente é um número pequeno de consultas ou um dashboard atualizando com frequência exagerada. Depois ataque os primeiros itens: adicione filtros de partição, materialize joins pesados repetidos, reduza a frequência de atualização dos dashboards, dimensione e suspenda automaticamente a computação, e coloque expiração nas tabelas de rascunho.
Por que os entrevistadores perguntam isso
Trabalho de custo é uma parte grande da engenharia de dados moderna, e os entrevistadores querem evidência de que você aborda isso com dados em vez de regras genéricas. Eles estão ouvindo os culpados específicos (dashboards em atualização agressiva, SELECT star em tabelas largas, escaneamentos sem partição, warehouses ociosos) e as travas que impedem o problema de voltar.
Como estruturar sua resposta
- Comece pelo histórico de consultas e atribua o gasto por usuário, ferramenta e job.
- Ordene por custo total, não por quão lenta uma consulta parece.
- Corrija os maiores culpados com poda, materialização e agendamento.
- Dimensione a computação corretamente e imponha suspensão automática.
- Coloque travas para que a economia se mantenha.
Exemplo de resposta
Primeiro eu pego os dados, porque todo mundo tem uma teoria e a teoria normalmente está errada. Todo warehouse relevante expõe o histórico de consultas com bytes escaneados ou créditos consumidos, então eu agrupo por usuário, por conta de serviço e por warehouse no último mês e ordeno por custo total. O padrão que eu continuo encontrando é que um punhado de coisas domina. Da última vez, 40% do gasto era um único dashboard de BI atualizando a cada quinze minutos contra uma tabela de eventos crua, para um público de umas seis pessoas, nenhuma das quais olhava mais do que uma vez por dia. Mover aquilo para uma tabela pré agregada atualizada de hora em hora cortou mais de um terço da conta sozinho. Depois disso vem a lista de sempre: consultas sem o filtro de partição, SELECT star em tabelas muito largas, warehouses dimensionados como XL porque alguém estava com pressa, e nenhuma suspensão automática, então eles ficam ociosos a noite toda. Depois as travas: timeouts de consulta, limites de bytes por usuário e um dashboard de custo que o time realmente vê toda semana.
Vai encarar essa entrevista em breve? O GhostPilot escuta a sua chamada ao vivo, identifica a pergunta no instante em que ela é feita e coloca uma resposta estruturada na sua tela em tempo real. Teste na sua próxima entrevista simulada ou pegue um Session Pass de $29, sem assinatura, para a hora da verdade.
Veja como funcionaPerguntas de acompanhamento que você pode esperar
- Como você atribuiria o custo de volta a cada time?
- Quando uma view materializada é a solução errada?
- Como você impede o custo de subir de novo depois de uma limpeza?
Mais perguntas para Engenheiro de Dados
Seu entrevistador vai fazer a própria versão desta. Cole a descrição real da vaga no Question Predictor gratuito e receba as 20 perguntas que essa vaga tem mais chance de fazer, com o que cada uma está de fato sondando.
Prever minhas perguntas