Scaling data pipelines (Big Data Minds conference Frankfurt)
Abstract
Datenabhängigkeiten, Tool-Silos und Entwicklungsprozesse müssen keine Hindernisse sein – sie können gezielt zu einem integralen Bestandteil einer leistungsfähigen Datenplattform werden. Dieser Beitrag beleuchtet die grundlegenden Prinzipien moderner Datenplattformen, zeigt aktuelle Herausforderungen im Data Engineering auf und stellt Lösungsansätze vor, die eine skalierbare Architektur ermöglichen. Im Mittelpunkt steht dabei der Orchestrator als zentrales Element, um Komplexität zu reduzieren und nachhaltiges Wachstum zu unterstützen.
Date
Sep 15, 2025 6:00 PM
Location
Frankfurt
Recording
Abstract
Datenabhängigkeiten, Tool-Silos und Entwicklungsprozesse müssen keine Hindernisse sein – sie können gezielt zu einem integralen Bestandteil einer leistungsfähigen Datenplattform werden. Dieser Beitrag beleuchtet die grundlegenden Prinzipien moderner Datenplattformen, zeigt aktuelle Herausforderungen im Data Engineering auf und stellt Lösungsansätze vor, die eine skalierbare Architektur ermöglichen. Im Mittelpunkt steht dabei der Orchestrator als zentrales Element, um Komplexität zu reduzieren und nachhaltiges Wachstum zu unterstützen.
Nehmen Sie an dieser Session teil und erfahren Sie mehr über:
- Welche Prinzipien eine robuste und skalierbare Datenplattform tragen
- Wie aktuelle Herausforderungen im Data Engineering systematisch adressiert werden können
- Warum Abhängigkeiten und Tool-Silos in eine Stärke verwandelt werden können
Authors
senior data expert
Georg is a Senior data expert at Magenta and a ML-ops engineer at ASCII.
He is solving challenges with data. His interests include geospatial graphs
and time series. Georg transitions the data platform of Magenta to the cloud
and is handling large scale multi-modal ML-ops challenges at ASCII.