Apache Iceberg: Tabellenformat für offene Datenplattformen

Apache Iceberg ist ein offenes Tabellenformat für große analytische Datensätze, die beispielsweise in Objektspeichern abgelegt werden. Es ergänzt Dateien wie Parquet um Metadaten, Tabellenzustände und Regeln für konsistente Änderungen. Iceberg ist weder eine vollständige Datenbank noch eine eigenständige Query-Engine.

Der Nutzen liegt in kontrollierten Updates, reproduzierbaren Tabellenzuständen und der Trennung zwischen Speicherformat und Rechen-Engine. Das ist für Unternehmen interessant, die Daten über mehrere Analysewerkzeuge hinweg bereitstellen möchten.

Die verbindliche technische Grundlage ist die Apache-Iceberg-Spezifikation. Einzelne Funktionen hängen vom verwendeten Tabellenformat und von Engine-Versionen ab.

Snapshots und atomare Commits

Änderungen an einer Tabelle werden über Metadaten veröffentlicht. Leser greifen auf einen konsistenten Snapshot zu, während Schreibvorgänge einen neuen Zustand vorbereiten. So werden teilweise sichtbare Tabellenänderungen vermieden.

Manifeste und Metadaten

Metadaten beschreiben, welche Dateien zu einem Snapshot gehören und welche Eigenschaften sie haben. Query-Engines können dadurch unnötige Dateien bei der Abfrageplanung auslassen. Die konkrete Struktur hängt von der Tabellenversion ab.

Schema- und Partitionsevolution

Felder und Partitionierung können unter definierten Regeln weiterentwickelt werden. Das reduziert den Aufwand bei fachlichen Änderungen, ersetzt aber keine sorgfältige Migrationsplanung für abhängige Anwendungen.

Unterschiedliche Rechen-Engines

Iceberg ist auf die Zusammenarbeit mit verschiedenen Verarbeitungssystemen ausgelegt. Das bedeutet nicht, dass jede Engine alle Funktionen und Versionen identisch unterstützt. Kompatibilität, Schreibkonflikte und Katalogwahl müssen getestet werden.

Iceberg, Delta Lake und Apache Paimon adressieren verlässliche Tabellen auf großen Datenbeständen, setzen jedoch unterschiedliche Schwerpunkte. Iceberg legt viel Gewicht auf offene Metadaten und die Nutzung durch mehrere Engines; andere Formate können für spezifische Streaming- oder Plattformanforderungen sinnvoller sein.

Ein pauschaler Sieger ist fachlich nicht begründbar. Entscheidend sind Mutationshäufigkeit, benötigte Latenz, eingesetzte Engines, Transaktionsverhalten, Metadatenverwaltung und Betriebsfähigkeiten.

Wer kontinuierlich veränderliche Daten verarbeitet, sollte auch Apache Paimon prüfen. Für eine grundlegende Architekturentscheidung gehören reale Workload-Tests dazu.

Ein offenes Format befreit nicht von Komplexität. Snapshots, Dateigrößen, Kompaktierung, Katalogbetrieb, Löschrichtlinien und Zugriffsrechte beeinflussen Kosten und Stabilität. Auch die technische Möglichkeit zum Time Travel ist keine unbegrenzte Archivierungszusage.

Eine Migration von bestehenden Hive-Tabellen oder einem Warehouse benötigt eine Strategie für Parallellauf, Schema-Kompatibilität, Datenvalidierung und Rollback. Das Dateiformat allein macht keine Datenplattform produktionsfähig.

Iceberg ist ein Kandidat für analytische Plattformen mit offenen Speicherformaten, großen Datenvolumen und unterschiedlichen Compute-Engines. Bei einfachen Reports, kleinen Datenbeständen oder stark plattformspezifischen Workloads kann eine vorhandene Warehouse-Lösung wirtschaftlicher sein.

Valanor beurteilt Tabellenformate im Zusammenhang mit Datenaufnahme, Transformationslogik, Sicherheit und Betrieb. Weitere Architekturgrundlagen stehen unter Data & AI Engineering.