Инженер по обработке данных — Python/Airflow/Azure Databricks (м/ж/д)

Für ein anspruchsvolles Data-Engineering-Projekt bei einem etablierten Unternehmen in der Schweiz suchen wir einen erfahrenen Data Engineer. Im Fokus stehen die Weiterentwicklung einer bestehenden On-Premise-Datenplattform soowie die laufende Преобразование в современные Azure-Databricks- и Lakehouse-Architektur.

• Entwicklung und Weiterentwicklung von Data Products

• Aufbau und Pflege von Ingestion- и Transformationpipelines

• Проверка качества и производительности

• Внедрение и проверка Apache-Airflow-DAG

• Mitarbeit bei Architekturentscheidungen rund um die Data Platform

• Unterstützung der Migration в Richtung Azure Databricks.

• Работа с архитектором данных, инженером DevOps и владельцем продукта

• Внутренняя поддержка Nutzer для данных, платформ и Python-тем.

• Mehrjährige Erfahrung als Data Engineer

• Sehr gute Kenntnisse на Python, insbesondere pandas, Polars und Poetry

• Поддержка Apache Airflow

• Убедитесь, что SQL- и PostgreSQL-Kenntnisse

• Работа с Azure Databricks.

• Кеннтниссе в Docker, Kubernetes или OpenShift.

• Работа с Azure DevOps/CI/CD

• Варианты использования Data Mesh, Data Contracts и Lakehouse-Architekturen

• Idealerweise Erfahrung mit JupyterHub, Acryl DataHub и MinIO S3

• Selbständige и активная работа с Hoher Kommunikationsfähigkeit

Найдите больше англоговорящих вакансий в Швейцарии на Arbeitnow

Источник: Arbeitnow (https://www.arbeitnow.ch/jobs/companies/prostaff-schweiz-gmbh/data-engineer-python-airflow-azure-databricks-basel-444007).