Deutsche Telekom
Data Engineer (Fabric) (m/f/d)
Deutsche TelekomAustria7 hours ago
Full-timeInformation Technology
Deine Aufgabe

Wir suchen einen Senior Data Engineer, der hochskalierbare Ingestion- und CDC-Pipelines (Change-Data-Capture) auf unserer Azure Fabric Lakehouse-Plattform entwirft, aufbaut und betreibt. Neben der Bereitstellung produktionsreifer Pipelines hilfst du dabei, unsere Engineering-Disziplin weiterzuentwickeln, indem du "Notebook-Style"-Arbeiten in wiederverwendbare, testgetriebene Python-Bibliotheken und CI/CD-gesteuerte Deployment-Artefakte umwandelst. Du wirst Teil des Common Data Intelligence Hub und arbeitest mit Datenarchitekten, Analytics Engineers und Lösungsdesignern zusammen, um robuste, verwaltete Datenprodukte zu liefern, die das unternehmensweite Analytics-Ökosystem unterstützen.

Verantwortlichkeiten

  • End-to-End-Verantwortung für Ingestion & CDC Engineering (Design, Aufbau, Betrieb, Beobachtbarkeit, Zuverlässigkeit, wiederverwendbare Komponenten)
  • Beitrag zu Plattformstandards (Verträge, Layer-Semantik, Bereitschaftskriterien) und Referenzimplementierungen
  • Zusammenarbeit mit dem Plattformteam durch Definition von Anforderungen, Überprüfung von Änderungen und Pflege von bereitstellbarem Code für Pipelines und Jobs

Plattform-Datenengineering & Delivery

  • Design und Entwicklung von Ingestion-Pipelines mit Azure Fabric Services (Notebooks/Jobs/Workflows)
  • Implementierung und Betrieb von CDC-Mustern (Einfügungen, Aktualisierungen, Löschungen), einschließlich Strategien für verspätet eintreffende Daten und Wiederverarbeitung
  • Strukturierung und Pflege von Bronze- und Silver-Delta-Lake-Datensätzen (Schema-Durchsetzung, Deduplizierung, Performance-Tuning)
  • Aufbau "transformationsbereiter" Datensätze und Schnittstellen für Analytics Engineers und nachgelagerte Modellierung
  • Datenerfassung mit einem Batch-First-Ansatz und Unterstützung bei der Weiterentwicklung von Mustern hin zu echtem Streaming, wo zukünftige Anwendungsfälle dies erfordern

Software Engineering für Daten-Frameworks

  • Entwicklung und Pflege von Python-basierten Ingestion/CDC-Komponenten als produktionsreife Software
  • Anwendung von Engineering-Best-Practices: Code-Reviews, Unit-/Integrationstests, statische Analyse, Formatierung/Linting, Type Hints und klare Dokumentation
  • Etablierung und Verbesserung von CI/CD-Pipelines für Data-Engineering-Code und Pipeline-Assets
  • Förderung der Wiederverwendung durch gemeinsame Bibliotheken, Vorlagen und Referenzimplementierungen; Reduzierung von "Einmal-Notebook"-Lösungen

Betrieb, Zuverlässigkeit & Beobachtbarkeit

  • Implementierung von Logging, Metriken, Tracing und Beobachtbarkeit von Datenpipelines
  • End-to-End-Fehlerbehebung bei verteilter Verarbeitung und Produktionsproblemen
  • Zusammenarbeit mit Lösungsdesignern bei ereignisbasierten Triggern und Orchestrierungs-Workflows; Beitrag zu betrieblichen Standards
  • Implementierung von betrieblicher und Sicherheitshygiene: sichere Handhabung von Geheimnissen, Zugriffsmuster mit minimalen Rechten und Unterstützung für Prüfbarkeit

Zusammenarbeit & Führung

  • Mentoring anderer Engineers und Förderung einheitlicher Engineering-Praktiken über Teams hinweg
  • Beitrag zur Data Engineering Community of Practice und Hilfe bei der Definition von Standards, Mustern und Leitplanken
  • Beitrag zu architektonischen Diskussionen (Layer-Semantik, Bereitschaftskriterien, Verträge und Governance)
  • Zusammenarbeit mit Architekten und Governance-Stakeholdern, um sicherzustellen, dass Datensätze die Governance-Anforderungen erfüllen, bevor sie in höhere Ebenen befördert werden

Dein Profil

Wir suchen einen Senior Data Engineer mit umfangreicher Erfahrung in der Azure Fabric Lakehouse-Plattform, um hochskalierbare Ingestion- und CDC-Pipelines zu entwerfen, zu bauen und zu betreiben, während du dabei hilfst, die Engineering-Disziplin durch wiederverwendbare Python-Bibliotheken und CI/CD-gesteuerte Bereitstellung weiterzuentwickeln.

Muss-Kriterien

  • 3-5 Jahre praktische Erfahrung im Aufbau von Datenpipelines mit Azure Fabric in Produktionsumgebungen
  • Fundierte Kenntnisse von Delta Lake-Mustern (CDC, Schema-Evolution, Deduplizierung, Partitionierung, Leistungsoptimierung)
  • Fortgeschrittene Python-Engineering-Fähigkeiten (Packaging, Dependency-Management, Testing, Tooling)
  • Solide SQL-Kenntnisse (komplexe Transformationen, Debugging, Performance-Tuning)
  • Nachgewiesene Erfahrung mit CI/CD und Git-basierten Workflows (Merge Requests, Branching-Strategien, automatisierte Tests, Environment-Promotion)
  • Fähigkeit, Probleme in verteilten Systemen zu diagnostizieren und zu lösen (Spark-Ausführung, Cluster/Runtime-Verhalten, Datenrichtigkeit)
  • Gutes Verständnis von Datenmodellierungsprinzipien und deren Einfluss auf Ingestion und Performance
  • Praktische Erfahrung bei der Anwendung von Data Governance und Sicherheitskontrollen in einer Lakehouse-Umgebung
  • Ausgeprägte Kommunikationsfähigkeiten in Englisch (mündlich und schriftlich)
  • Erfahrung mit Azure Fabric (Notebooks, Spark, Delta Lake)
  • Erfahrung mit Azure Functions & Durable Functions (Orchestrierung, langläufige Workflows)
  • SQL-Analyse- und Performance-Tuning-Fähigkeiten
  • Produktionsreife PySpark- und Python-Kenntnisse
  • Erfahrung mit ADLS Gen2 (Lake-Storage-Design, Ordner-/Partitionierungsstrategie, Zugriffskontrollen, Lifecycle/Retention)
  • Git- und Code-Review-Workflow-Erfahrung
  • Erfahrung mit CI/CD-Pipelines (z.B. GitLab CI, Azure DevOps)
  • Testing-Fähigkeiten: Unit-/Integrationstests, Testdatenstrategien
  • Code-Qualitätserfahrung: Linting/Formatting, statische Analyse, Type Hints
  • Packaging & Dependency-Management-Erfahrung
  • Kenntnisse über sichere Geheimnisverwaltung und Service-Authentifizierungsmuster (Key Vault oder Äquivalent)
  • Erfahrung mit Event Grid / Azure Functions / ereignisgesteuerter Orchestrierung
  • Observability-Fähigkeiten (strukturiertes Logging, Metriken, Alerting; Log Analytics oder Äquivalent)
  • Proaktiv, zuverlässig und fähig, selbstständig in agilen Teams zu arbeiten

Wünschenswerte Fähigkeiten

  • Erfahrung mit Unity Catalog

Über uns

Deutsche Telekom IT Solutions ist eine Tochtergesellschaft der Deutschen Telekom Gruppe und Ungarns attraktivster Arbeitgeber im Jahr 2025 (laut repräsentativer Umfrage von Randstad). Das Unternehmen bietet ein breites Portfolio an IT- und Telekommunikationsdienstleistungen mit mehr als 5300 Mitarbeitern.

Wir haben Hunderte von großen Kunden, Unternehmen in Deutschland und in anderen europäischen Ländern.

Wichtige Erfolge:

  • Erhielt 2019 die Auszeichnung Best in Educational Cooperation von HIPA
  • 2019 als ethischstes multinationales Unternehmen anerkannt

Das Unternehmen entwickelt kontinuierlich seine vier Standorte in Budapest, Debrecen, Pécs und Szeged und sucht qualifizierte IT-Fachkräfte, die seinem Team beitreten.

Weitere Details

  • Bitte beachte, dass unsere Möglichkeit zur Fernarbeit aufgrund der europäischen Steuervorschriften nur innerhalb Ungarns verfügbar ist.

Key Skills

Ranked by relevance
Apply