Leitender Datenplattform-Ingenieur

Wir suchen einen Senior Data Platform Engineer für die Data Platform bei Smartly!

Smartly baut den Standardpfad für den kontrollierten Datenaustausch zwischen Produktdienstleistungen, Analysen und KI/ML auf. Das Data Platform-Team besitzt die Verträge, Kontrollmechanismen, Veröffentlichungspfade, Katalogmetadaten, Lebenszyklusregeln, Herkunft, Berechtigungen und Laufzeitbausteine, die wiederverwendbare Daten im großen Maßstab sicher und praktisch machen.

Dies ist eine Rolle für jemanden, der frühzeitig eine Plattform gestalten und gleichzeitig an konkreten Produktionsproblemen von Anfang an arbeiten möchte. Smartly verfügt bereits über die Produktionssysteme, das Kafka-Backbone, PostgreSQL-Datenbanken, analytische Verbraucher und KI/ML-Anwendungsfälle, die eine bessere Datengrundlage benötigen. Die Herausforderung besteht darin, diese Realität in einen Standardpfad umzuwandeln, den Ingenieure tatsächlich nutzen möchten.

Unser erster Meilenstein konzentriert sich auf zentral verwaltete Veröffentlichungstabellen in diensteigenen PostgreSQL-Datenbanken, die über Debezium CDC in Kafka erfasst und in DataHub mit Metadaten zu Besitz, Lebenszyklus, Abstammung und Auswirkungsanalyse registriert werden. Längerfristig wird die Plattform in Richtung Self-Service-Datenprodukte, kontrollierte Materialisierungen, dauerhaften gemeinsamen Zustand und wiederverwendbare Daten in den Betriebs- und Analysesystemen von Smartly erweitert.

Dies ist keine Rolle, bei der Sie nur eine bestehende Berichtspipeline pflegen. Sie helfen beim Entwerfen und Aufbau des Plattformpfads, den andere Entwicklungsteams verwenden, wenn sie gemeinsam genutzte Daten veröffentlichen und nutzen.

Was Sie tun werden

• Entwerfen und erstellen Sie Plattformdienste, Tools und Workflows für die vertragsgesteuerte Datenveröffentlichung und -nutzung.

• Erstellen Sie den ersten Produktionspfad für plattformverwaltete PostgreSQL-Veröffentlichungstabellen, Debezium CDC, Kafka-Themen und Katalogregistrierung.

• Erstellen Sie Workflows im GitOps-Stil, in denen Verträge, Schemata, Eigentum, Lebenszyklus, Kompatibilität, Richtlinienmetadaten und der gewünschte Laufzeitstatus überprüft, validiert und als Code abgeglichen werden.

• Erstellen Sie Tools, die Produktingenieuren schnelles Feedback geben, bevor sie Datenprodukte veröffentlichen oder ändern.

• Helfen Sie dabei, zu definieren, wie Smartly Datenprodukte, Veröffentlichungsverträge, Schemaentwicklung, Feldstabilität, Löschsemantik, Zugriffsrichtlinien, Herkunft und Kostenzuordnung modelliert.

• Betreiben und Verbessern des CDC-Laufzeitmodells, einschließlich Kubernetes-Workloads, quellenspezifischer Isolierung, Offsets, Schemaverlauf, Heartbeats, Signalkanäle, Lag-Sichtbarkeit, Wiedergabe, Resnapshotting und Wiederherstellung.

• Integrieren Sie Plattformmetadaten in DataHub, damit Ingenieure Datenprodukte entdecken, Eigentümer verstehen, Abstammung verfolgen und die Auswirkungen von Änderungen begründen können.

• Arbeiten Sie mit Produkt-, Infrastruktur-, Datentechnik-, Analyse- und KI/ML-Teams zusammen, um den Standardpfad einfacher und sicherer zu machen als maßgeschneiderte Punkt-zu-Punkt-Integrationen.

Was wir suchen

• Umfangreiche Erfahrung im Aufbau und Betrieb von Produktionssoftwaresystemen, vorzugsweise in Plattform-, Infrastruktur-, Backend- oder datenintensiven Umgebungen.

• Tiefes Verständnis der Kompromisse bei verteilten Systemen: Zuverlässigkeit, Idempotenz, Wiedergabe, letztendliche Konsistenz, Eigentumsgrenzen, Kompatibilität und Betriebsfehlermodi.

• Praktische Erfahrung mit PostgreSQL oder anderen relationalen Datenbanken, einschließlich Schemadesign, Migrationen, Transaktionen, Replikation oder Betriebsleistung.

• Erfahrung mit Kafka, Event-Streaming, CDC, Debezium oder verwandten Datenbewegungstechnologien. Direkte Debezium-Erfahrung ist wertvoll, aber starke Grundlagen sind wichtiger.

• Erfahrung beim Erstellen von Software, die andere Ingenieure verwenden: CLIs, interne Plattformen, Steuerungsebenen, Automatisierung, CI-Validierung, Entwicklertools oder Self-Service-Workflows.

• Vertrautheit mit Kubernetes und Cloud- oder Infrastrukturplattformen, einschließlich Laufzeitisolation, Bereitstellung, Beobachtbarkeit und Betriebsverantwortung.

• Fähigkeit, mehrdeutige Architekturrichtungen in praktische Schritte umzuwandeln, Kompromisse deutlich zu machen und nützliche Produktionssysteme bereitzustellen, ohne auf vollkommene Gewissheit warten zu müssen.

• Klare schriftliche und mündliche Kommunikation in Englisch. Zu dieser Rolle gehört die Abstimmung mehrerer Ingenieurteams hinsichtlich Standards, Verträgen und Eigentumsgrenzen.

Nützliche Erfahrung, aber nicht erforderlich

• DataHub oder andere Datenkatalog-, Herkunfts- oder Governance-Systeme.

• Offene Tabellenformate wie Apache Iceberg, objektspeichergestützte Data Lakes, S3, BigQuery, ClickHouse oder analytische Speichersysteme.

• GitHub-Aktionen, Policy-as-Code, Infrastructure-as-Code, Controller, Operatoren oder abstimmungsbasierte Systeme.

• Datenverträge, Schema-Registrierungen, Protobuf, Avro, JSON-Schema, Kompatibilitätsprüfung, Metadaten auf Feldebene oder Vertragstests.

• Erfahrung in der Unterstützung von Analysen, KI/ML, Zugriffsmustern im Feature-Store-Stil oder domänenübergreifenden Produkt-Service-Integrationen.

• Erfahrung mit JVM-Sprachen und Python, TypeScript, Go oder Ruby.

Was wir Ihnen bieten

Bei Smartly bieten wir einen Ort, an dem Sie sinnvolle technische Arbeit leisten und gleichzeitig in einem globalen Team wachsen können.

• Eine integrative globale Kultur, die auf Vertrauen, Transparenz, offenem Feedback und Respekt für unterschiedliche Perspektiven basiert.

• Globale Wirkung durch Technologie, die von großen Marken genutzt wird, um digitale Werbung in großem Maßstab zu planen, zu erstellen, zu optimieren und zu verstehen.

• Unterstützung des Wohlbefindens, bezahlter Urlaub, Urlaub aus familiären Gründen und nachhaltige Arbeitsweisen.

• Aktienoptionen, leistungsbasierte Belohnungen, wettbewerbsfähige Vergütung und Möglichkeiten zur beruflichen Weiterentwicklung.

• Ein flexibler Hybridarbeitsplatz, der die Zusammenarbeit im Büro mit konzentrierter Remote-Arbeit in Einklang bringt. Bei Smartly arbeiten wir 3 Tage die Woche vom Büro aus.

Über Smartly

Smartly ist ein Werbetechnologieunternehmen, das Marken dabei unterstützt, digitale Werbung auf den wichtigsten Medienplattformen zu erstellen, zu verwalten, zu optimieren und zu verstehen. Unsere Engineering-Organisation baut die Systeme auf, die Medien-, Kreativ- und Intelligenzfunktionen in einem Produkt verbinden, das von Kunden weltweit verwendet wird.…

Quelle: Arbeitnow (https://www.arbeitnow.com/jobs/companies/smartly/senior-data-platform-engineer-berlin-98232)