Ingeniero de datos sénior

Resumen de funciones
Buscamos un ingeniero de datos senior para construir y administrar la plataforma de datos de STACK en Databricks.
El puesto desarrollará canales de datos confiables desde los sistemas de finanzas, entrega, operaciones, recursos humanos y PMO, mantendrá una alta calidad de los datos y garantizará que la información esté segura, gobernada y disponible para uso comercial.
El candidato seleccionado trabajará en estrecha colaboración con las partes interesadas para mejorar la presentación de informes, resolver problemas de datos y respaldar una mejor toma de decisiones en toda la organización.

Responsabilidades clave:
· Diseñar, construir y mantener canalizaciones de datos desde API, bases de datos, aplicaciones SaaS, archivos y hojas de cálculo en Databricks.
· Desarrollar modelos de datos escalables y arquitectura Delta Lake para informes, análisis y futuros casos de uso de IA.
· Administre flujos de trabajo de Databricks, Lakeflow o Delta Live Tables, almacenes SQL y trabajos de procesamiento relacionados.
· Administrar espacios de trabajo de Databricks, Unity Catalog, permisos, entidades de servicio.
· Soportar entornos de desarrollo, prueba y producción, incluyendo implementación, monitoreo, resolución de incidentes y recuperación.
· Supervisar el rendimiento, el uso y los costos de la plataforma, e implementar controles operativos y de seguridad adecuados.
· Implementar controles de calidad de los datos que cubran la integridad, precisión, puntualidad, coherencia, duplicados y conciliación con los sistemas fuente.
· Garantizar que los paneles utilicen datos gobernados, confiables y bien documentados.
· Establecer propiedad de los datos, definiciones comunes, linaje, políticas de acceso y estándares de gobernanza con funciones comerciales.
· Desarrollar monitoreo e informes para identificar fallas en la tubería y problemas de calidad de los datos.
· Integre datos de Databricks gobernados con Power BI y otras herramientas analíticas aprobadas.
· Trabajar con Finanzas, Entrega, Operaciones, Recursos Humanos y PMO para traducir los requisitos en soluciones de datos sostenibles.
· Documentar canalizaciones de datos, controles, dependencias y procedimientos operativos.
· Coordinar socios externos donde se requiere apoyo especializado.

Calificaciones:
· Experiencia significativa como ingeniero de datos, incluida la propiedad de canales de datos de producción.
· Fuerte experiencia práctica con Databricks, Delta Lake, Python, SQL y PySpark.
· Experiencia integrando datos de API, aplicaciones comerciales, bases de datos y archivos.
· Experiencia con Unity Catalog, gestión de acceso, gobierno de datos y controles de calidad de datos.
· Experiencia en la administración de espacios de trabajo de Databricks, recursos informáticos y almacenes SQL.
· Experiencia con servicios de datos de Azure, Power BI, Git y prácticas de CI/CD.
· Comprensión de la gestión ambiental, seguimiento, resolución de problemas y control de costes.
· Capacidad para trabajar directamente con partes interesadas no técnicas y explicar claramente los problemas de datos.
· Fuertes habilidades de documentación, priorización y resolución de problemas.

Certificaciones (preferidas)
· Profesional certificado en ingeniería de datos de Databricks o administrador de plataforma certificado de Databricks (si está disponible).
Encuentre trabajo en Reino Unido en Arbeitnow

Fuente: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/stack-infrastructure-emea/senior-data-engineer-london-185810)