Data Engineering (PySpark/Databricks)

Start: Juli 2026 

Dauer: 18 Monate 

Auslastung: Fulltime (37 Std./Woche)

Lokation: Remote & Hamburg (60/40) 

Vertragsart: Arbeitnehmerüberlassung 

Aufgaben: 

• Mitgestaltung der datengetriebenen Zukunft der Versorgungssicherheit in Hamburg
• Entwicklung und Optimierung von Datenmodellen sowie Datentransformationen in PySpark zur Verarbeitung komplexer Daten
• Implementierung technischer und fachlicher Integrations- sowie End-to-End-Tests zur Sicherstellung der Datenqualität und Zuverlässigkeit
• Analyse und Optimierung von Ausführungsplänen in PySpark für eine performante Verarbeitung großer Datensätze
• Enge Zusammenarbeit mit Fach- und Domänenexperten zur Übersetzung energiewirtschaftlicher Anforderungen in skalierbare Datenlösungen
• Weiterentwicklung eines selbstentwickelten Datenmodell-Framework

Anforderungen: 

• Mehrjährige Erfahrung (3+ Jahre) im Data Engineering mit Spark, Databricks und VS Code, sowie ein technischer Hochschul- oder Fachhochschulabschluss
• Erfahrung im Aufbau von Cloud DWH Datenmodellen
• Sehr gute Kenntnisse in PySpark, Python und SQL (SparkSQL)
• Python Packetmanager (uv, poetry), Linter, Typing
• Gute Kenntnisse der allgemeinen Standards für Code-Qualität
• Bash-Skripting
• Erfahrung im effizienten und zielgerichteten Einsatz von Coding Agents im Entwicklungskontext
• Sehr gute Deutschkenntnisse und gute Kommunikationsfähigkeit