Старший інженер з даних

Що ви будете робити

• Створення та підтримка пакетних і потокових конвеєрів даних.

• Перемістіть виробничі дані в архівне сховище/озеро даних безпечно та доступно для спостереження.

• Поліпшити якість, надійність і можливість спостереження отриманих наборів даних.

• Перевірка дизайну на актуальність, повноту, правильність схеми та якість даних.

• Створюйте набори даних для багаторазового використання, що зменшує одноразове вилучення даних і роботу з агрегації.

• Оптимізуйте запити та завдання обробки даних для правильності, затримки та вартості.

• Зробіть прототип у потрібних інструментах, а потім інтегруйте виробничі експерименти в масштабах із системами amo, де це необхідно.

Має бути

• Досвід старшого рівня у створенні та експлуатації каналів даних.

• Сильний Python і SQL.

• Досвід виробництва з Python або Scala.

• Досвід роботи з PySpark, Spark SQL, Spark Streaming, Parquet і Iceberg.

• Глибоке розуміння пакетної та потокової обробки.

• Досвід оптимізації запитів.

• Знайомство з внутрішніми механізмами обробки даних і системами розподілених даних.

• Досвід роботи з озерами даних, форматами таблиць/сховищ і похідними наборами даних.

Приємно мати

• Досвід роботи з Flink або подібними системами обробки потоків.

• Досвід навчання ML або конвеєрів висновків.

• Знайомство з ранжуванням, рекомендаціями, вбудовуваннями або розпізнаванням сутностей.

• Досвід роботи з конфіденційними системами даних, робочими процесами GDPR або конвеєрами видалення/експорту даних.

• Досвід читання або внесення змін у системах із підтримкою Rust.

Життя в амо

Щоб переконатися, що кожен налаштований на успіх у нашій роботі, ми працюємо разом на місці 5 днів на тиждень.
Ми хотіли, щоб приїзд в офіс був для Вас максимально комфортним:

• Ми обрали місце в центрі Парижа, біля Опери (лінії метро 3,8,9 і RER A).

• У нас гарний офіс у паризькому стилі з високими стелями, балконами та величезними вікнами. Так багато природного світла!

Оскільки життя поза роботою також має бути вільним від стресу, ми розглядаємо:

• Охорона здоров'я (100% покриття).

• Відпустка у зв'язку з вагітністю та пологами, відпустка по догляду за дитиною, відпустка по вагітності та пологах (заробітна плата зберігається на рівні 100%).

• Дні відпустки: 8-9 тижнів (всього) на рік - (Європейське літо? 🥹😎).

• 5 тижнів оплачуваної відпустки (за рахунок штату);

• 1-2 додаткові тижні (RTT, на основі контракту нашої компанії);

• ~11 вихідних днів.
Ми повністю припиняємо роботу двічі на рік, на два тижні влітку та на один тиждень взимку, щоб дати всім змогу по-справжньому підзарядитися та уникнути тривалих уповільнень (особливо влітку). Ці паузи є частиною вашого загального часу відпустки, що дає кожному реальний шанс відключитися від мережі та зарядитися. Ні Slack, ні електронної пошти, ні FOMO.

Знайдіть роботу у Франції на Arbeitnow

Джерело: Arbeitnow (https://www.arbeitnow.fr/jobs/companies/amo/senior-data-engineer-paris-371160)