Azure Data Engineering

Start: Juni 2024

Dauer: 7 Monate +
Auslastung: Vollzeit (40 h)
Lokation: Remote / vereinzelt Berlin
Vertragsart: Arbeitnehmerüberlassung

Aufgaben:

* Sie entwerfen, erstellen und pflegen Datenpipelines und Workflows mit Databricks und Azure Data Factory, um Daten aus verschiedenen Quellen in unserer Datenplattform zu verarbeiten
* Zusammenarbeit mit funktionsübergreifenden Teams, um Datenanforderungen zu verstehen und sie in technische Spezifikationen und Lösungen umzusetzen
* Entwickeln Sie Datenintegrationsprozesse, um einen reibungslosen Datenfluss zwischen verschiedenen Systemen und Anwendungen zu gewährleisten
* Implementierung von Datenqualitätsprüfungen und Validierungsverfahren, um Dateninkonsistenzen, Fehler und Anomalien zu erkennen und zu beheben
* Optimierung der Datenverarbeitung und -speicherung im Hinblick auf Leistung, Skalierbarkeit und Kostenoptimierung
* Überwachen Sie Datenpipelines, beheben Sie Probleme und sorgen Sie für eine rechtzeitige Lösung, um Ausfallzeiten und Datenverluste zu minimieren
* Erstellen von CI/CD-Pipelines mit GitHub-Aktionen
* Enge Zusammenarbeit mit Stakeholdern, um deren Datenanforderungen zu verstehen und ihnen zuverlässige, hochwertige Daten für Analysen und Berichte zur Verfügung zu stellen
* Erstellen interaktiver und visuell ansprechender Dashboards und Berichte mit Power BI, um den Stakeholdern Einblicke und wichtige Leistungsindikatoren (KPIs) effektiv zu vermitteln
* Up to date in Bezug auf Branchentrends, neue Technologien und bewährte Verfahren in der Datentechnik und -analyse

Anforderungen:

* Bachelor-Abschluss in Informatik, Ingenieurwesen oder einem verwandten Bereich
* Ausgeprägte Erfahrung im Umgang mit Databricks, PySpark, Azure, Azure Data Factory, Python, Power BI und GitHub-Aktionen
* Beherrschung von SQL und Datenmodellierungskonzepten
* Solides Verständnis von Datenverarbeitung und -integration
* Fähigkeit, unabhängig zu arbeiten und mehrere Aufgaben und Projekte gleichzeitig zu verwalten

Wünschenswert:

* Erfahrung mit Datenqualitätsmanagement und Data Governance
* Vertrautheit mit Cloud-basierten Datenspeicherlösungen, wie Azure Blob Storage oder Azure Data Lake Storage
* Kenntnisse der Konzepte und Technologien von Data Warehousing, Data Lake, Lakehouse und Data Mesh