#68: CI/CD für Daten: Datenversionierung für stabile & nachvollziehbare Systeme

Daten(banken) versionieren – klingt maximal unsexy, spart aber Stress im Deployment. Warum ohne Schema-Versionierung selbst kleine Änderungen große Probleme verursachen und was ORMs, Flyway oder Liquibase damit zu tun haben, erfahrt ihr hier. Daten historisieren ist ein Must-have für Compliance, Reproduzierbarkeit und Modellierung. Aber Achtung: Nicht jede Lösung passt für jede Datenbank und den Live-Betrieb. Wir geben Tipps, wie ihr eure Datenprodukte systematisch und effizient im Griff behaltet.

**Zusammenfassung**

• Schema-Versionierung ist essenziell, um Änderungen an Datenbanken nachvollziehbar und reibungslos ins Deployment einzubinden
• Fehlende Versionierung kann zu kaputten Prozessen führen, wenn Schema-Änderungen nicht dokumentiert und automatisiert umgesetzt werden
• Werkzeuge wie ORMs, Flyway oder Liquibase helfen dabei, Änderungen an Datenbankschemata strukturiert zu verwalten
• Historisierung von Daten ist für Compliance, Reproduzierbarkeit und Modellierung entscheidend  
• Ansätze zur Datenhistorisierung: Append-only-Strategien vs. System-Versionierung
• Herausforderungen: Performance-Engpässe, hohe Pflegekosten und Kompatibilitätsprobleme je nach Datenbank und Migrationstool  
• Best Practices: Versionierung systematisch einführen, Automatisierung priorisieren und sicherstellen, dass Downgrades funktionieren.  

**Links**

• #58: Arm, aber sexy: Data Warehousing at Scale ohne Budget https://www.podbean.com/ew/pb-gywt4-1719aef
• #52: In-process Datenbanken und das Ende von Big Data https://www.podbean.com/ew/pb-tekgi-16896e4
• #36: Der Data Mesh Hype und was davon bleibt https://www.podbean.com/ew/pb-7er7v-15080c1
• Flyway: https://www.red-gate.com/products/flyway/
• Liquibase: https://www.liquibase.com/
• Alembic (für SQLAlchemy): https://alembic.sqlalchemy.org/en/latest/
• MariaDB: https://mariadb.org/
• ClickHouse: https://clickhouse.com/
• Fragen, Feedback und Themenwünsche gern an podcast@inwt-statistics.de