ETL Data Engineering

Start: Februar 2024
Dauer: 6 Monate +
Auslastung: Vollzeit
Lokation: Remote (nach Absprache vor Ort in Karlsruhe)

Aufgaben:

* Organisation und Durchführung von Abstimmungen mit dem Quellsvstemowner, Schnittstellenowner, Anforderer
* Prüfung sämtlicher Fragestellungen zum Thema Datenschutz mit den Datenownern, im Zweifel mit dem Fachressort
* Bearbeitung von IT-Security-Vorfällen
* Erarbeitung und Implementierung eines Daten-Berechtigungskonzepts
* Performanceoptimierung
* Prozess- und Datenmodell-Modellierung auf der Datenbank / dem Datenmodell-Werkzeug
* Agile Prozessmodellierung mit Werkzeugen On-Premise / in der Cloud
* Betrieb und Monitoring bestehender Datenstrecken und Bereitstellen einer Wahrnehmungsoberfläche für das Service-Team sowie den Kunden bzgl. Problemen in der Datenversorgung
* Konzeptionelle Weiterentwicklung von Datenversorgungsstrecken der Integration von Daten aus diversen Quellen ins DWH
* Dokumentation der Prozesse und Datenmodelle für andere Data
Engineers / Inhouse Consultants und zur Übergabe an die Service
Organisation
* Aktive Unterstützung TPV / Sparring für TPV
* Aktive Beteiligung in Vorhaben/Projekten; im Einzelfall auch
Leitung von Projekten und Vorhaben
* Aufbau eines Data Dictionary für das DWH (Quell-Sprachen zusammenbringen in einheitliche DWH-Sprache)
* Entwickeln von Templates für Standard-Prozesse und Self Service-Prozesse
* Exzellentes Domänenwissen für die Ressort-Daten
* Umfassende Kenntnisse bezüglich der
Anforderungen an Datenprozesse und Fähigkeit diese zu skalieren
* Architektur-Know-how
* Umfassendes Know-how zu den eingesetzten
Werkzeugen - auch in der Cloud
* Know-how bezüglich (Cloud-)Datenbank-Technologien und SQL / Python
* Erfahrungen mit Azure und/ oder GCP
* Data Engineer typisches Know-how:
* Wissen des Datenmanagements allgemein bzw. Bl-spezifisch Kenntnis zur Funktionsweise des ELT-Tools
* Berechtigungskonzept

* Kenntnisse bzgl. verschiedener
Datenmodellierungskonzepte
* Wissen über Aufbau neuer Schnittstellen
* Spricht die Sprache des Datenlieferanten
* Kenntnis über das datenliefernde System
* Kennnisse über das datenauswertende System
* Kenntnis über das Zusammenspiel der Ouell-/Ziel-Technologien mit der BI-Welt

Anforderungen:

* Verantwortung für die Prozessqualität und Prozessmonitoring des Datenstrecken Prozesses (ETL)
* Projektmanagement Know-how
* Optimalerweise Snowflake Kenntnisse alternativ Exasol
* Verantwortung für die Prozesse zur Generierung, Speicherung, Pflege, Aufbereitung, Anreicherung und Weitergabe von Daten
* Verantwortung für performante und agile
 Datenmodelle
* Verantwortung für die Weiterentwicklung bestehender und die Konzeption neuer
 Prozesse
* Im Einzelfall Verantwortung für die Beobachtung von ETL-Werkzeugen auf dem Markt
* Im Einzelfall Verantwortung für die kontinuierliche Weiterentwicklung der (Cloud-) Datenstrecken-Werkzeuge und
* Datenmodelle durch ständige
Marktbeobachtung
* Verantwortung für den sicheren Betrieb
laufender Prozesse
* Im Einzelfall Verantwortung für die erfolgreiche Durchführung von Vorhaben und Proiekten