Colete os eventos por um endpoint leve para dentro de um log durável, como Kafka ou Kinesis, para que os produtores fiquem desacoplados dos consumidores. Valide contra um schema registry na fronteira e mande as falhas para um tópico de dead letter. Aterrisse os eventos brutos de forma imutável em object storage, particionado por data do evento, e depois transforme em camadas limpas e modeladas. Deduplique por id de evento e chaveie tudo por tempo de evento.
Por que os entrevistadores perguntam isso
Essa é uma pergunta de design em aberto, usada para ver como você estrutura um sistema e onde coloca as proteções. Os entrevistadores procuram um buffer durável, imposição de schema na borda, uma camada raw imutável para replay, particionamento sensato e uma história para duplicatas e dados atrasados. Pular direto para nomes de ferramentas sem descrever o fluxo é a falha comum.
Como estruturar sua resposta
- Esclareça volume, requisito de latência e quem consome a saída.
- Descreva a coleta para dentro de um log durável e reprocessável.
- Imponha o schema na fronteira com um caminho de dead letter.
- Aterrisse o bruto de forma imutável e depois modele em camadas.
- Cubra duplicatas, dados atrasados e tratamento de dados pessoais.
Exemplo de resposta
Eu perguntaria primeiro sobre volume e latência, porque cem mil eventos por dia e cem mil por segundo são sistemas diferentes, e também se alguém realmente precisa de dado com menos de um minuto. Assumindo um caso normal de product analytics, um endpoint coletor fino escreve no Kafka, o que me dá durabilidade e permite reprocessar se um consumidor lá na frente tiver um bug. Nessa fronteira eu valido contra um schema registrado e empurro qualquer coisa inválida para um tópico de dead letter com o motivo, porque descartar eventos malformados em silêncio significa descobrir meses depois. Os eventos brutos aterrissam em object storage particionado por data do evento, imutáveis, e essa camada é a fonte da verdade da qual eu sempre consigo reconstruir. Dali, uma camada de transformação limpa, deduplica por id de evento, faz sessionização e modela em tabelas fato e dimensão. Eu trataria dados pessoais na ingestão, aplicando hash nos identificadores de usuário e guardando o mapeamento em um repositório restrito, já que é muito mais fácil do que tentar limpar um lake depois.
Vai encarar essa entrevista em breve? O GhostPilot escuta a sua chamada ao vivo, identifica a pergunta no instante em que ela é feita e coloca uma resposta estruturada na sua tela em tempo real. Teste na sua próxima entrevista simulada ou pegue um Session Pass de $29, sem assinatura, para a hora da verdade.
Veja como funcionaPerguntas de acompanhamento que você pode esperar
- Como você faria a sessionização dos eventos, e o que define o fim de uma sessão?
- Como você lida com tráfego de bots na camada raw?
- O que muda se o cliente é um app mobile que fica offline?
Mais perguntas para Engenheiro de Dados
Seu entrevistador vai fazer a própria versão desta. Cole a descrição real da vaga no Question Predictor gratuito e receba as 20 perguntas que essa vaga tem mais chance de fazer, com o que cada uma está de fato sondando.
Prever minhas perguntas