Welches Problem lösen Tabellenformate wie Iceberg und Delta Lake, das reines Parquet auf Object Storage nicht löst?

Reine Parquet-Dateien in einem Bucket geben dir keine Transaktionen, ein Leser kann also ein halb geschriebenes Verzeichnis sehen, und ein fehlgeschlagener Job hinterlässt Teildaten. Tabellenformate ergänzen eine Metadatenschicht mit atomaren Commits und Snapshot Isolation, sodass Writes auf einen Schlag sichtbar werden. Dazu kommen Schema Evolution, Updates und Deletes auf Zeilenebene, Time Travel zu früheren Snapshots und File Pruning über Statistiken statt über Verzeichnislisten.

Bei reinem Parquet ist die Tabelle eigentlich nur eine Verzeichniskonvention, es gibt also keine Atomarität. Stirbt ein Job auf halbem Weg, sehen Leser Teildaten, und es gibt keinen Weg, eine einzelne Zeile zu ändern oder zu löschen, ohne ganze Partitionen von Hand neu zu schreiben. Tabellenformate beheben das mit einer Metadatenschicht. Ein Commit tauscht atomar einen Zeiger auf einen neuen Snapshot, Leser sehen also entweder den alten oder den neuen Zustand, nie eine Mischung, und Time Travel bekommst du fast geschenkt, weil alte Snapshots weiter existieren. Genau das hat uns einmal gerettet, als eine fehlerhafte Transformation einen Mart überschrieben hat und wir über den vorherigen Snapshot wiederhergestellt haben statt aus Backups. Was ich an Iceberg besonders mag, ist Hidden Partitioning, wo die Tabelle die Partitionstransformation selbst verfolgt, sodass eine Analystin, die auf einem Timestamp filtert, Pruning bekommt, ohne das Layout zu kennen. Die Kosten sind Wartung: du brauchst geplante Compaction kleiner Dateien und Snapshot-Ablauf, sonst wachsen die Metadaten unbegrenzt.