Herausforderung der Kunden:
Das Team von XING Marketing Solutions (Teil von NEW WORK SE) benötigte eine regelmäßige Vorhersage (KPIs) für ihre Anzeigen. Ein manueller ETL-Prozess sollte automatisiert werden. Es war notwendig, die notwendigen Daten zu erhalten und die oben genannten KPIs zu berechnen.
Bisher gab es kein automatisches System, das diese Daten vom Datenspeicher bis zu den Endnutzern lieferte. Im Rahmen unseres Projektes haben wir ein System entwickelt, das diese Daten dem Xing Marketing Solutions Team zur Verfügung stellt.
Lösungsweg:
Der Fokus lag auf dem Design und der Entwicklung einer End-to-End-Lösung mit einem asynchronen Request-Reply-Pattern, das das containerisierte Backend enthält und somit bereit ist für den Einsatz in jedem Container-Hosting-System. Das Auslösen der Berechnungspipelines wurde mit Hilfe von DAGs auf Basis von Airflow realisiert.
Technologien:
Python, Exasol, Hive, Airflow, Kubernetes, Jenkins
Image by rawpixel.com on Freepik
