Was ist der Unterschied zwischen ETL und ELT, und warum hat sich die Branche Richtung ELT bewegt?

ETL transformiert die Daten vor dem Laden, meist auf einem separaten Compute-Cluster. ELT lädt Rohdaten zuerst ins Warehouse und transformiert sie dort mit SQL. Der Wechsel kam, weil Cloud-Warehouses Storage billig und Compute elastisch gemacht haben. Rohdaten zu behalten und an Ort und Stelle zu transformieren, ist schneller zu iterieren, leichter zu auditieren und erlaubt dir, Historie neu zu verarbeiten, ohne die Quellsysteme erneut anzuzapfen.

Der Unterschied ist nur, wo die Transformation passiert. ETL transformiert unterwegs, also landet im Warehouse bereits modellierte Daten. ELT landet roh und modelliert innerhalb des Warehouse mit SQL. Der Grund, warum sich ELT durchgesetzt hat: Storage wurde billig und Warehouse-Compute elastisch, also gibt es keinen guten Grund mehr, das rohe Payload wegzuwerfen. Das zählt mehr, als die meisten denken. Als wir einen Bug in unserer Umsatzlogik gefunden haben, haben wir achtzehn Monate Marts in ungefähr vierzig Minuten aus den Rohdaten neu gebaut, ohne zurück zu den Quell-APIs zu müssen, von denen manche nur neunzig Tage vorhalten. Außerdem bleibt die Transformationslogik als SQL in der Versionskontrolle statt in einem proprietären Tool. Trotzdem würde ich vor dem Laden transformieren, wenn es etwa um das Dekodieren großer Binärdateien geht oder wenn ich personenbezogene Daten entfernen oder tokenisieren muss, bevor sie überhaupt das Warehouse berühren, denn sensible Daten lassen sich nicht mehr entladen, sobald sie drin sind.