Data Integration Engineering (Azure/ETL/Python)

Start: März/April 2026

Dauer: 12 Monate

Auslastung: Vollzeit (40 h pro Woche)

Lokation: Remote & Berlin (Hybrid)

Vertragsart: Arbeitnehmerüberlassung

Beschreibung: Unterstützung eines Energieunternehmens im Bereich Information Systems bei der Entwicklung und dem Betrieb von Datenintegrationen sowie Datenpipelines im energiewirtschaftlichen Umfeld. Fokus auf Python-basierte Datenverarbeitung, API-Engineering und Cloud-Integration innerhalb einer hybriden Systemlandschaft.

Aufgaben

• Abstimmung von Integrationsanforderungen mit Fachbereichen, Handelsteams und externen Datenlieferanten
• Klärung von Datenanforderungen, Integrationsrestriktionen und Datenqualitätskriterien
• Aufbereitung technischer Sachverhalte wie Schemaänderungen, Payload-Abweichungen und Integrationsverzögerungen in verständlicher Business-Kommunikation
• Erstellung und Pflege technischer Dokumentationen zu APIs, Payload-Formaten, Mapping-Regeln und ETL-Prozessen
• Entwicklung und Betrieb Python-basierter ETL-Pipelines inklusive Zeitreihen-Transformationen mit Pandas
• Implementierung und Nutzung von REST-APIs inklusive Validierung mit Pydantic sowie Nutzung von OpenAPI-Schemas
• Umsetzung robuster Integrationsmechanismen inklusive Idempotenzlogik, Request-Signierung und API-Authentifizierung
• Nutzung von Azure-Services zur Integration und Bereitstellung von Schnittstellen
• Betrieb von Azure Functions mit HTTP-Triggern
• Nutzung von Azure Key Vault zur sicheren Verwaltung von Secrets
• Nutzung von Azure API Management zur Verwaltung und Steuerung von APIs
• Monitoring und Observability über Azure Application Insights
• Umsetzung sicherer SFTP-Datenaustauschprozesse inklusive Paramiko-Integration
• Implementierung abgesicherter Datenübertragungen mit Cipher-Hardening, Wiederaufnahme von Transfers, Checksummenprüfung und Zustellbestätigung
• Unterstützung beim Betrieb von Datenintegrationen zwischen Fachsystemen, Handelsplattformen, SAP-Schnittstellen und externen Partnern

Muss-Anforderungen

• Berufserfahrung in Data Engineering, Backend-Entwicklung oder Integrationsentwicklung (2–5 Jahre)
• Fundierte Kenntnisse in Python-Entwicklung und Datenverarbeitung (2–5 Jahre)
• Erfahrung in der Implementierung und Nutzung von REST-APIs (2–5 Jahre)
• Erfahrung im Aufbau und Betrieb von Datenpipelines sowie ETL-Prozessen (2–5 Jahre)
• Erfahrung im energiewirtschaftlichen Umfeld oder im Handel energiebezogener Datenprozesse (2–5 Jahre)
• Erfahrung in der Zusammenarbeit mit mehreren Stakeholdern aus Fachbereich und IT (2–5 Jahre)
• Sehr gute Englischkenntnisse in Wort und Schrift

Soll-Anforderungen

• Erfahrung mit Low-Code- oder No-Code-Integrationsplattformen oder Data-Ops-Tools wie Dataiku
• Erfahrung mit energiewirtschaftlichen Datenprozessen wie Fahrplanmanagement, Verbrauchs- und Produktionsdaten oder Forecast-Erstellung
• Erfahrung mit GitHub Actions, CI/CD-Pipelines und Quality-Gate-Mechanismen
• Erfahrung mit AWS-Services wie Athena oder S3-basierter Datenarchitektur
• Erfahrung mit SAP-Integrationen inklusive BAPI- oder EPO-Payload-Logiken
• Erfahrung mit Canonical-JSON-Mapping oder Retry-Mechanismen für Schnittstellen
• End-to-End-Prozessverständnis im Betrieb von Integrationslandschaften
• Deutschkenntnisse