Ingeniero Senior de Plataforma de Datos

¡Estamos buscando un Ingeniero Senior de Plataforma de Datos para unirse a la Plataforma de Datos en Smartly!

Smartly está construyendo el camino estándar para el intercambio de datos gobernados entre servicios de productos, análisis e IA/ML. El equipo de la plataforma de datos posee los contratos, los mecanismos de control, las rutas de publicación, los metadatos del catálogo, las reglas del ciclo de vida, el linaje, los permisos y los componentes básicos del tiempo de ejecución que hacen que los datos reutilizables sean seguros y prácticos a escala.

Este es un rol para alguien que quiere dar forma a una plataforma desde el principio, mientras trabaja en problemas de producción concretos desde el principio. Smartly ya cuenta con los sistemas de producción, la columna vertebral de Kafka, las bases de datos PostgreSQL, los consumidores analíticos y los casos de uso de IA/ML que necesitan una mejor base de datos. El desafío es convertir esa realidad en un camino estándar que los ingenieros realmente quieran utilizar.

Nuestro primer hito está enfocado: tablas de publicación administradas centralmente en bases de datos PostgreSQL propiedad del servicio, capturadas a través de Debezium CDC en Kafka y registradas en DataHub con metadatos de propiedad, ciclo de vida, linaje y análisis de impacto. A más largo plazo, la plataforma se expande hacia productos de datos de autoservicio, materializaciones gobernadas, estados compartidos duraderos y datos reutilizables en todos los sistemas operativos y analíticos de Smartly.

Esta no es una función en la que solo se mantiene un canal de informes existente. Ayudará a diseñar y construir la ruta de la plataforma que otros equipos de ingeniería utilizan cuando publican y consumen datos compartidos.

que haras

• Diseñar y crear servicios de plataforma, herramientas y flujos de trabajo para la publicación y el consumo de datos basados en contratos.

• Construir la primera ruta de producción para tablas de publicación PostgreSQL administradas por plataforma, Debezium CDC, temas de Kafka y registro de catálogos.

• Cree flujos de trabajo estilo GitOps donde los contratos, esquemas, propiedad, ciclo de vida, compatibilidad, metadatos de políticas y estado deseado del tiempo de ejecución se revisen, validen y reconcilien como código.

• Cree herramientas que brinden a los ingenieros de productos comentarios rápidos antes de publicar o cambiar productos de datos.

• Ayudar a definir cómo modela Smartly productos de datos, contratos de publicación, evolución de esquemas, estabilidad de campos, semántica de eliminación, política de acceso, linaje y atribución de costos.

• Operar y mejorar el modelo de tiempo de ejecución de CDC, incluidas las cargas de trabajo de Kubernetes, el aislamiento de fuente específica, las compensaciones, el historial de esquemas, los latidos, los canales de señal, la visibilidad de retrasos, la reproducción, la toma de instantáneas y la recuperación.

• Integre los metadatos de la plataforma en DataHub para que los ingenieros puedan descubrir productos de datos, comprender la propiedad, rastrear el linaje y razonar sobre el impacto de los cambios.

• Trabajar con equipos de productos, infraestructura, ingeniería de datos, análisis e IA/ML para hacer que el camino estándar sea más fácil y seguro que las integraciones punto a punto personalizadas.

lo que estamos buscando

• Amplia experiencia en creación y operación de sistemas de software de producción, preferiblemente en entornos de plataforma, infraestructura, backend o uso intensivo de datos.

• Comprensión profunda de las compensaciones de los sistemas distribuidos: confiabilidad, idempotencia, repetición, consistencia eventual, límites de propiedad, compatibilidad y modos de falla operativa.

• Experiencia práctica con PostgreSQL u otras bases de datos relacionales, incluido el diseño de esquemas, migraciones, transacciones, replicación o rendimiento operativo.

• Experiencia con Kafka, transmisión de eventos, CDC, Debezium o tecnologías de movimiento de datos adyacentes. La experiencia directa con Debezium es valiosa, pero los fundamentos sólidos son más importantes.

• Experiencia en la creación de software que utilizan otros ingenieros: CLI, plataformas internas, planos de control, automatización, validación de CI, herramientas de desarrollo o flujos de trabajo de autoservicio.

• Familiaridad con Kubernetes y plataformas de nube o infraestructura, incluido el aislamiento del tiempo de ejecución, la implementación, la observabilidad y la propiedad operativa.

• Capacidad para convertir una dirección arquitectónica ambigua en incrementos prácticos, hacer concesiones explícitas y ofrecer sistemas de producción útiles sin esperar a tener una certeza perfecta.

• Comunicación clara escrita y hablada en inglés. Esta función implica alinear varios equipos de ingeniería en torno a estándares, contratos y límites de propiedad.

Experiencia útil, pero no requerida.

• DataHub u otro catálogo de datos, linaje o sistemas de gobierno.

• Formatos de tablas abiertas como Apache Iceberg, lagos de datos respaldados por almacenes de objetos, S3, BigQuery, ClickHouse o sistemas de almacenamiento analítico.

• Acciones de GitHub, políticas como código, infraestructura como código, controladores, operadores o sistemas basados ​​en conciliación.

• Contratos de datos, registros de esquemas, Protobuf, Avro, esquema JSON, verificación de compatibilidad, metadatos a nivel de campo o pruebas de contratos.

• Experiencia en soporte de análisis, IA/ML, patrones de acceso estilo tienda de funciones o integraciones de productos y servicios entre dominios.

• Experiencia con lenguajes JVM y Python, TypeScript, Go o Ruby.

Que te ofrecemos

En Smartly, ofrecemos un lugar donde puede realizar un trabajo técnico significativo mientras crece con un equipo global.

• Cultura global inclusiva basada en la confianza, la transparencia, la retroalimentación abierta y el respeto por las diferentes perspectivas.

• Impacto global a través de la tecnología utilizada por las principales marcas para planificar, crear, optimizar y comprender la publicidad digital a escala.

• Apoyo al bienestar, vacaciones pagadas, permisos familiares y formas de trabajo sostenibles.

• Opciones de equidad, recompensas basadas en el desempeño, compensación competitiva y oportunidades de desarrollo profesional.

• Un lugar de trabajo híbrido flexible que equilibra la colaboración en la oficina con el trabajo remoto enfocado. En Smartly trabajamos 3 días a la semana desde la oficina.

Acerca de Smartly

Smartly es una empresa de tecnología publicitaria que ayuda a las marcas a crear, gestionar, optimizar y comprender la publicidad digital en las principales plataformas de medios. Nuestra organización de ingeniería construye los sistemas que conectan las capacidades multimedia, creativas y de inteligencia en un producto utilizado por clientes a nivel mundial....

Fuente: Arbeitnow (https://www.arbeitnow.com/jobs/companies/smartly/senior-data-platform-engineer-berlin-98232)