Ingénieur de données – Python / Airflow / Azure Databricks (m/w/d)

Pour un projet d'ingénierie de données pris en charge par un entrepreneur établi en Suisse, tel qu'un ingénieur de données expérimenté. Mon objectif est de créer une meilleure plate-forme de données sur site ainsi que la transformation la plus efficace dans une architecture Azure-Databricks et Lakehouse moderne.

• Présentation et présentation des produits de données

• Construction et préparation de pipelines d'ingestion et de transformation

• Sécurité de la qualité des données et des performances

• Prise en charge et utilisation des DAG Apache-Airflow

• Mitarbeit bei Architekturentscheidungen rund um die Data Platform

• Prise en charge de la migration dans Richtung Azure Databricks

• Travail avec Data Architect, DevOps Engineer et Product Owner

• Assistance interne à Nutzer pour les thèmes Data, Plateforme et Python

• Mehrjährige Erfahrung en tant qu'ingénieur de données

• Sehr gute Kenntnisse in Python, insbesondere pandas, polars and Poetry

• Utilisation financée avec Apache Airflow

• Sehr gute SQL et PostgreSQL-Kenntnisse

• Utilisation avec Azure Databricks

• Kenntnisse dans Docker, Kubernetes ou OpenShift

• Utilisation avec Azure DevOps / CI/CD

• Options de Data Mesh, de contrats de données et d'architecture Lakehouse

• Utilisation idéale avec JupyterHub, Acryl DataHub et MinIO S3

• Arbeitsweise autonome et proactive avec toutes les communications

Trouvez plus d'emplois anglophones en Suisse sur Arbeitnow

Source : Arbeitnow (https://www.arbeitnow.ch/jobs/companies/prostaff-schweiz-gmbh/data-engineer-python-airflow-azure-databricks-basel-444007)