Ingeniero de datos sénior de Databricks

Resumen de funciones
Buscamos un ingeniero de datos senior de Databricks con experiencia práctica comprobada en Databricks para construir, desarrollar y administrar la plataforma de datos empresariales de STACK. Este es un puesto de ingeniería centrado en la producción que requiere experiencia práctica en Databricks, PySpark, Python, SQL y Delta Lake.
El puesto diseñará canales confiables que integren sistemas de finanzas, entrega, operaciones, recursos humanos y PMO, establecerá conjuntos de datos gobernados y de alta calidad y respaldará análisis e informes seguros y escalables. Al trabajar con partes interesadas técnicas y comerciales, el candidato seleccionado se hará cargo de las soluciones de ingeniería de datos y ayudará a mejorar la confiabilidad y el rendimiento de la plataforma.

Responsabilidades clave:
· Diseñar, desarrollar, implementar y mantener canalizaciones ETL/ELT de nivel de producción utilizando Databricks, PySpark, Python y SQL, integrando API, bases de datos, aplicaciones SaaS, archivos y hojas de cálculo.
· Desarrollar y optimizar modelos de datos escalables de Delta Lake y arquitectura Lakehouse para informes, análisis y futuros casos de uso de IA.
· Cree, programe, supervise y solucione problemas de trabajos de procesamiento de datos utilizando Databricks Workflows, Lakeflow o Delta Live Tables, según corresponda.
· Aplicar la gobernanza de Unity Catalog, incluidos permisos de acceso, propiedad de datos, linaje y definiciones de datos comunes.
· Brindar soporte a espacios de trabajo de Databricks, recursos informáticos, almacenes SQL, principales de servicio y administración de acceso en asociación con equipos de tecnología relevantes.
· Gestionar implementaciones de desarrollo, pruebas y producción, monitoreo, resolución de incidentes y recuperación, utilizando prácticas de Git y CI/CD.
· Optimice el rendimiento de la canalización, el procesamiento de Spark, el uso de cómputo y los costos de la plataforma mientras mantiene controles operativos y de seguridad adecuados.
· Implementar controles de calidad de los datos para verificar su integridad, precisión, puntualidad, coherencia, duplicados y conciliación con los sistemas de origen.
· Desarrollar monitoreo y alertas para identificar fallas en la tubería, problemas de calidad de datos y riesgos operativos.
· Integre conjuntos de datos de Databricks gobernados y confiables con Power BI y otras herramientas analíticas aprobadas.
· Trabajar con los equipos de finanzas, entrega, operaciones, recursos humanos y PMO para traducir los requisitos en soluciones de datos sostenibles.
· Documentar canales, dependencias, controles y procedimientos operativos, y coordinar socios externos especializados cuando sea necesario.

Calificaciones:
· Fuerte experiencia práctica en la creación y soporte de canales de datos de producción directamente en Databricks; La experiencia con otras plataformas de datos en la nube por sí sola no es suficiente.
· Experiencia práctica con PySpark, Python, SQL y Delta Lake, incluida la transformación de datos y la optimización del rendimiento.
· Experiencia en orquestar y solucionar problemas de canalizaciones de datos de Databricks mediante flujos de trabajo, Delta Live Tables o Lakeflow.
· Conocimiento práctico de Unity Catalog, gobernanza de datos, controles de acceso y prácticas de calidad de datos (Esencial).
· Experiencia integrando datos de API, aplicaciones comerciales, bases de datos y archivos.
· Experiencia en soporte de espacios de trabajo de Databricks, recursos informáticos o almacenes SQL en un entorno de producción.
· Experiencia con servicios de datos de Azure, Power BI, Git y prácticas de CI/CD.
· Comprensión de la gestión ambiental, monitoreo, resolución de problemas, seguridad y control de costos.
· Capacidad para trabajar con partes interesadas no técnicas, explicar claramente los problemas de datos y documentar las soluciones de manera efectiva.
· Fuertes habilidades de propiedad, priorización y resolución de problemas.

Certificaciones (preferidas)
· Profesional certificado en ingeniería de datos de Databricks o administrador de plataforma certificado de Databricks (si está disponible).
Encuentre más trabajos de habla inglesa en el Reino Unido en Arbeitnow

Fuente: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/stack-infrastructure-emea/senior-databricks-data-engineer-london-455331)