Старший инженер данных

Что вы будете делать

• Создавать и поддерживать конвейеры пакетной и потоковой передачи данных.

• Перемещайте производственные данные в архивы/хранилища озер данных безопасно и наблюдаемо.

• Повысить качество, надежность и наблюдаемость полученных наборов данных.

• Разработайте проверки актуальности, полноты, правильности схемы и качества данных.

• Создавайте многоразовые наборы данных, которые сокращают объем однократной работы по извлечению и агрегированию данных.

• Оптимизировать запросы и задания по обработке данных с точки зрения правильности, задержки и стоимости.

• Создайте прототип с помощью нужных инструментов, а затем при необходимости интегрируйте масштабные производственные эксперименты с системами amo.

Должен иметь

• Опыт высшего уровня в построении и эксплуатации конвейеров данных.

• Уверенный Python и SQL.

• Опыт работы с Python или Scala.

• Опыт работы с PySpark, Spark SQL, Spark Streaming, Parquet и Iceberg.

• Хорошее понимание пакетной и потоковой обработки.

• Опыт оптимизации запросов.

• Знакомство с внутренним устройством механизма обработки данных и распределенными системами данных.

• Опыт работы с озерами данных, форматами таблиц/хранилищ и производными наборами данных.

приятно иметь

• Опыт работы с Flink или аналогичными системами потоковой обработки.

• Опыт обучения машинному обучению или конвейеров вывода.

• Знакомство с ранжированием, рекомендациями, встраиванием или разрешением объектов.

• Опыт работы с системами данных, чувствительных к конфиденциальности, рабочими процессами GDPR или конвейерами удаления/экспорта данных.

• Опыт чтения или внесения масштабных изменений в системах, поддерживаемых Rust.

Жизнь в амо

Чтобы гарантировать, что каждый настроен на успех в рамках нашей работы, мы работаем вместе на месте 5 дней в неделю.
Мы хотели, чтобы посещение офиса было для Вас максимально комфортным:

• Мы выбрали место в центре Парижа, недалеко от Оперы (линии метро 3,8,9 и RER A).

• У нас красивый офис в парижском стиле с высокими потолками, балконами и огромными окнами. Так много естественного света!

Поскольку жизнь вне работы также должна быть свободной от стресса, мы рассмотрим:

• Здравоохранение (охват 100%).

• Отпуск по беременности и родам, Отпуск для отца, Второй родительский отпуск (заработная плата сохраняется на уровне 100%).

• Дни отпуска: 8-9 недель (всего) в году - (Европейское лето? 🥹😎).

• 5 недель оплачиваемого отпуска (за счет государства);

• 1-2 дополнительные недели (RTT, на основании договора с нашей компанией);

• ~11 государственных праздников.
Мы полностью отключаемся два раза в год: две недели летом и одну неделю зимой, чтобы дать каждому возможность по-настоящему восстановить силы и избежать длительных спадов (особенно летом). Эти паузы являются частью вашего общего отпуска, давая каждому реальную возможность отключиться и восстановить силы. Никакого Slack, никакой электронной почты, никакого FOMO.

Найдите работу во Франции на Arbeitnow

Источник: Arbeitnow (https://www.arbeitnow.fr/jobs/companies/amo/senior-data-engineer-paris-371160).