Senior Data Engineer (Remote)

ÜBER DIE ROLLE

Als unser erster engagierter Dateningenieur werden Sie die Datengrundlage aufbauen und besitzen, die Analysen, Berichte und Entscheidungsfindung im gesamten Unternehmen unterstützt. Dies ist eine praktische Rolle, bei der Sie das dimensionale Modell entwerfen, die Pipelines besitzen, die es versorgen, und die Standards festlegen, auf denen unsere Datenpraxis aufbaut.

Sie werden nicht bei Null anfangen oder alleine arbeiten. Sie werden Teil eines Datenteams mit direkter Analyseerfahrung und arbeiten eng mit Ingenieuren und anderen technischen Teams zusammen, die das aufgebaut und betrieben haben, was wir heute haben. Hier gibt es echtes institutionelles Wissen, auf das man zurückgreifen kann. Was fehlt, ist jemand, dessen Fokus darauf liegt, daraus eine einzige, gut modellierte Grundlage zu schaffen, auf die sich das gesamte Unternehmen verlassen kann.

Sie arbeiten funktionsübergreifend, um zu verstehen, wie Daten generiert und verwendet werden, und übersetzen diese Anforderungen in skalierbare Modelle und strukturierte Berichtsebenen. Ein zentraler Teil der Arbeit ist die Identitätsauflösung: der Aufbau des Rückgrats, das dieselbe Entität, wie sie erscheint, zuverlässig über Systeme hinweg verbindet, die jeweils ihre eigenen Identifikatoren und Lebenszyklen haben.

Diese Rolle ist ideal für jemanden, der Spaß daran hat, Datensysteme durchgängig zu verwalten – von der Aufnahme und Transformation bis hin zu Modellierung, Governance und Leistung – und der die Autonomie haben möchte, ein Lager richtig zu entwerfen, mit Kollegen, die Ihnen helfen können, das Geschäft hinter den Daten zu verstehen.

Was Sie tun werden

– Entwerfen und erstellen Sie ein angepasstes Dimensionsmodell im Kimball-Stil für unsere Betriebs-, Verhaltens- und Transaktionsdaten

– Eigene End-to-End-Erfassung, einschließlich der Erfassung von Änderungen im Laufe der Zeit aus Quellen, die den Verlauf nicht nativ speichern

– Konsolidieren Sie die Transformationslogik, die derzeit an mehr als einem Ort vorhanden ist, in einer einzigen kontrollierten, getesteten Ebene

– Implementieren und verwalten Sie unser Data Warehouse und unsere Transformationsschicht und übernehmen Sie die Verantwortung für die Pipelines, die Daten von unseren Betriebssystemen dorthin übertragen

– Etablieren Sie grundlegende Best Practices für Datenmodellierung, Dokumentation, Tests und Governance

– Verbessern Sie die Datenzuverlässigkeit, -qualität und -zugänglichkeit systemübergreifend

– Arbeiten Sie mit Analysten und Geschäftsinteressenten zusammen, um den sich entwickelnden Datenbedarf zu unterstützen

– Kodieren Sie Definitionen von Geschäftsmetriken einmal, damit die Berichterstattung nicht mehr zwischen den Teams verschwimmt

– Überwachen und optimieren Sie die Leistung und Kosteneffizienz über Pipelines, Lagerung und Lagerabfragen hinweg

SIE PASSEN GUT, WENN SIE

– Sie verfügen über mehr als 5 Jahre Erfahrung, insbesondere in den Bereichen Datentechnik, Analysetechnik oder einer eng damit verbundenen Rolle, einschließlich der Erstellung und des Besitzes eines Dimensionsmodells in der Produktion

– Sie verfügen über ausgeprägte SQL-Kenntnisse und Erfahrung mit dokumentenbasierten Betriebsdatenbanken (z. B. MongoDB) und analytischen Data Warehouses (z. B. BigQuery, Snowflake, Redshift oder ähnliches).

– Sie haben Erfahrung in der Erstellung von Fakten- und Dimensionstabellen unter Verwendung von Sternschema-Prinzipien zur Unterstützung von Berichten und Data Marts, mit einer klaren Sicht auf die Körnung, angepasste Dimensionen und sich langsam ändernde Dimensionen

– Sie verfügen über praktische Erfahrung mit modernen Transformations- und Modellierungs-Frameworks (z. B. dbt, Dataform oder ähnliches), einschließlich der Verwaltung von Transformationsebenen innerhalb einer Warehouse-Umgebung mit Versionskontrolle, Tests und CI

– Sie haben zuverlässige ETL/ELT-Pipelines erstellt und gewartet, die rohe Anwendungsdaten in strukturierte, analysebereite Datensätze umwandeln

– Sie haben mit Orchestrierungstools gearbeitet (z. B. Airflow, Dagster, Prefect oder ähnliches) und denken in Abhängigkeiten, Wiederholungsversuchen und Backfills

– Sie haben Erfahrung mit Datenerfassungs- oder Event-Streaming-Plattformen (z. B. RudderStack, Segment, Pub/Sub oder ähnlichem) und der Sicherstellung konsistenter, zuverlässiger Upstream-Datenflüsse, einschließlich Identity Stitching im Web und auf Mobilgeräten

– Sie verfügen über ein solides Verständnis der Best Practices für die Datenmodellierung, einschließlich Schemadesign, dimensionaler Modellierung und Leistungsüberlegungen

– Sie verfügen über eine Erfolgsbilanz bei der Übernahme und dem Betriebssystem von Systemen, die Sie nicht erstellt haben

– Sie legen einen starken Fokus auf Datenqualität, Validierung und Governance und verfügen über die Fähigkeit, Inkonsistenzen zu identifizieren und zu beheben

– Verstehen Sie die Leistungsoptimierung über Pipelines, Speicher und Lagerabfragen hinweg

– Kann Nicht-Ingenieuren technische Kompromisse klar erklären

– Sie fühlen sich wohl in einem wachsenden Umfeld, in dem Sie sowohl die technische Umsetzung als auch die Gestaltung unserer Datenarchitekturstandards mitgestalten

Schön zu haben

– Datenerfassungsmuster aus Betriebsdatenbanken ändern

– Abonnementabrechnungsdaten – Anteile, Rückerstattungen, fehlgeschlagene Zahlungen, Testversionen

– Erfahrung mit verteilten Verarbeitungsframeworks (z. B. Spark, Beam, Dataflow)

– Erfahrung als erster oder früher Datenmitarbeiter

SCHLÜSSELVERANTWORTLICHKEITEN

– Entwerfen, erstellen und pflegen Sie zuverlässige Datenpipelines, die Betriebsdaten in strukturierte, analysebereite Datensätze umwandeln

– Entwerfen und pflegen Sie das Dimensionsmodell – Bemaßungen, Fakten und Brückentabellen mit klar definierter Struktur

– Entwickeln und pflegen Sie skalierbare Datenmodelle und Data Marts zur Unterstützung von Berichten und Geschäftsanalysen

– Verwalten und optimieren Sie Datenerfassungs- und Ereignisworkflows, um konsistente, qualitativ hochwertige Upstream-Datenflüsse sicherzustellen

– Implementieren und verwalten Sie Transformationsprozesse, die Rohdaten für Analysezwecke strukturieren

– Implementieren Sie Orchestrierung, Tests, Aktualitätsüberwachung und Warnmeldungen, damit Datenprobleme erkannt werden, bevor Stakeholder darauf stoßen

– Erstellen und pflegen Sie Änderungserfassungen oder Snapshots, um historische Berichte und sich langsam ändernde Dimensionen zu unterstützen

– Verbessern Sie die Aktualität der Daten – indem Sie unsere Kernbetriebsdaten von Batch-Aktualisierungen auf Verfügbarkeit nahezu in Echtzeit umstellen und Aktualitäts-SLAs festlegen, auf die sich alle Beteiligten verlassen können

– Sorgen Sie für strenge Standards für Datenqualität, Validierung und Konsistenz über alle Systeme hinweg

– Dokumentieren Sie Modelle und Definitionen, damit Analysten und Stakeholder selbstbewusst handeln können

– Überwachen und optimieren Sie Leistung, Zuverlässigkeit und Kosteneffizienz innerhalb der Analyseumgebung…

Quelle: EU Remote Jobs (https://euremotejobs.com/job/senior-data-engineer-remote/)