BI- & Data Warehouse Architektur mit Azure Stack
Freiberuflich in: Remote
Dauer: 3 Monate
100% Auslastung
Start: Janaur 2025
Dauer: 3 Monate
Auslastung: Vollzeit (63 PT)
Lokation: Remote
Projektbeschreibung:
Die Steuerungsfähigkeit der Disponentinnen und Disponenten in den Verkehrsleitungen des Fernverkehrs des Kunden soll durch die Einführung und Weiterentwicklung von untertägigen Reporting-Lösungen verbessert werden. Hierfür ist die Weiterentwicklung des Data Warehouses im Bereich Fahrplan und Verkehrsleitung erforderlich, über das betriebs- und fahrplanbezogenen Daten und Reports erstellt und verteilt werden. Die aktuelle Infrastruktur ist darauf ausgerichtet, Daten, Berichte und kontextrelevante Informationen am Folgetag nach Ablauf des Betriebstages zur Verfügung zu stellen (basierend auf batch processing). Ziel des Projektes „Aufbau untertägiges Reporting für Nova VL" ist es, die Datenbank- und Reportingsysteme dahingehend weiterzuentwickeln, den operativen Bereichen im DB Fernverkehr Daten, Berichte und kontextrelevante Informationen bereits untertägig in Neartime verfügbar zu machen. Hierfür müssen neue Datenquellen (z.B. untertägige Fahrzeug- und Personaleinsatzdaten, Verspätungsinformationen in Neartime) mittels stream processing angebunden werden. Zudem ist die Umsetzung einer Cloud-Migration der aktuellen On-Premise-Architektur zu unterstützenten) mit Zuglaufmeldungen (Ist-Daten) sollen systematische Planungsfehler aufgedeckt werden.
Aufgaben:
* Beratung bei der Erstellung einer nachhaltigen Architektur auf Microsoft SQL Server Basis zur Erfassung und Speicherung von großen Mengen an Daten mittels batch und stream processing
* Beratung bei der Erstellung einer nachhaltigen Architektur zur Verarbeitung von großen Datenmengen auf Basis von Data Mining Algorithmen zum Einsatz bei Geschäftsentscheidungen
* Beratung beim Aufbau und der Migration in eine Cloud-Infrastruktur
* Automatisiertes Deployment in Datenbanken in Cloud-Umgebungen
* Analyse einer nachhaltigen und hochperformanten Datenbankarchitektur zur Speicherung von großen Mengen an Daten sowie von quantitativen Kennzahlen
* Umsetzung einer Big Data Architektur zur Datenaggregation und Datenanalyse
* Dokumentation der Vorgänge und der umzusetzenden Architektur
* Präsentation der Architektur an die Entwicklerteams sowie bis auf Managementebene
Muss-Anforderungen:
* Fundierte Berufs-/Projekterfahrung in der Konzeption, Ausgestaltung und Entwicklung von BI-Systemen/-Architekturen oder DWH-Umgebungen insbesondere mit dem Microsoft SQL Server sowie XML- und JSON-Datenformaten mittels batch und stream processing (> 5 Jahre)
* Mehrjährige Erfahrungen mit dem Azure Cloud Stack (> 5 Jahre)
* Ausgeprägte Methodenkompetenz für Daten-, Prozess- und ETL-Modellierung inkl. zugehöriger Werkzeuge und Design moderner BI-Architekturen insbesondere unter Verwendung von NiFi und Azure Data Factory (> 5 Jahre)
* Mehrjährige Erfahrung in Datenbankarchitektur und Datenbankentwicklung einschließlich Cloud-Architekturen und Cloud-Migrationen (> 5 Jahre)
* Erfahrung in der Dokumentation und Beschreibung von Softwarearchitekturen bzw. Datenbankarchitekturen einschließlich Cloud-Architekturen (> 5 Jahre)
Soll-Anforderungen:
* Erfahrung in der Administration von SQL Server Datenbanken (> 5 Jahre)
* Erfahrungen mit automatischem Deployment und Testing (insb. Azure DevOps, NiFi Registry) (> 5 Jahre)
* Kenntnisse in Azure Services mit Fokus auf Data Management und Data Engineering (> 5 Jahre)
* Kenntnisse mehrerer Scriptsprachen (insb. R, Python) (> 5 Jahre)