Qual é a diferença entre ETL e ELT, e por que a indústria migrou para ELT?

ETL transforma o dado antes de carregá-lo, normalmente em um cluster de computação separado. ELT carrega o dado bruto no warehouse primeiro e depois transforma ali mesmo com SQL. A virada aconteceu porque os warehouses em nuvem deixaram o armazenamento barato e a computação elástica, então guardar o dado bruto e transformar no lugar é mais rápido de iterar, mais fácil de auditar e permite reprocessar o histórico sem reextrair dos sistemas de origem.

A diferença é só onde a transformação acontece. ETL transforma em trânsito, então o que aterrissa no warehouse já vem modelado. ELT aterrissa o bruto e modela dentro do warehouse com SQL. O motivo pelo qual ELT dominou é que o armazenamento ficou barato e a computação do warehouse ficou elástica, então não existe mais uma boa razão para jogar fora o payload bruto. Isso importa mais do que as pessoas esperam. Quando encontramos um bug na nossa lógica de receita, reconstruímos dezoito meses de marts a partir do bruto em uns quarenta minutos, sem voltar às APIs de origem, algumas das quais só retêm noventa dias. Também mantém a lógica de transformação em controle de versão como SQL, em vez de dentro de uma ferramenta proprietária. Dito isso, eu ainda transformaria antes de carregar em casos como decodificar arquivos binários grandes, ou quando eu preciso descartar ou tokenizar dados pessoais antes que eles cheguem ao warehouse, porque você não consegue descarregar dado sensível depois que ele já está lá.