Штатний інженер даних

Кліматична криза є визначальним викликом нашого часу, але це також найбільша можливість для інновацій і виклик, який ми з гордістю приймаємо. У Overstory ми використовуємо передові технології, щоб створити стійку електричну мережу, яка забезпечує процвітання спільнот у міру того, як наш світ змінюється.

Мережа є основою життя, яким ми його знаємо. Він живить лікарні, зберігає свіжість їжі та забезпечує зв’язок громад. Але екстремальні погодні умови, застаріла інфраструктура та зростаючий ризик лісових пожеж створюють тиск на цю критично важливу систему. Все це разом робить галузь електроенергетики найбільшою можливістю для боротьби зі зміною клімату.

Одна з головних причин катастрофічних лісових пожеж і відключень електроенергії? Дерева та кущі контактують з лініями електропередач.

Ось де ми допомагаємо. У Overstory ми використовуємо штучний інтелект і передові супутникові зображення, щоб точно визначити та визначити пріоритетність ризиків рослинності до того, як вони матеріалізуються. Надаючи комунальним підприємствам критичний аналіз цих ризиків, ми допомагаємо запобігти збоям, зменшити ризик лісових пожеж і прискорити перехід до безпечнішої та стійкішої мережі.

Наша команда працює в Америці та Європі, і ми співпрацюємо з партнерами з комунальних служб по всій Америці та за її межами. Ми любителі активного відпочинку, музиканти, художники, спортсмени, батьки та шукачі пригод. Нас об’єднує пристрасть до вирішення складних проблем, відданість боротьбі з кліматом і віра в те, що технології повинні бути силою добра.

Приєднуйтесь до нас, щоб разом побудувати більш стійкий світ.

Роль і команда

Як штатний інженер з обробки даних Overstory, ви керуватимете розробкою та масштабуванням платформи даних, яка дозволить Overstory проводити аналіз рослинності за допомогою ШІ. Наш аналіз залежить від надійного, повторюваного та своєчасного переміщення величезних обсягів супутникових зображень, висновків моделі та даних комунальних мереж через організовані конвеєри для підтримки прийняття клієнтом рішень. Ви будете володіти архітектурою цієї платформи та встановлювати напрямок її розвитку.

Ви тісно співпрацюватимете з інженерами з обробки даних, машинного навчання та продуктів, а також з командами продуктів, щоб переконатися, що дані, що надходять у наші моделі та надсилаються нашим клієнтам, збалансовують прагматичну доставку з довговічністю, відстежуваністю та масштабованістю. Як старший технічний керівник, ви будете наставляти інших інженерів, керувати архітектурними рішеннями та встановлювати стандарти для проектування конвеєрів, меж обслуговування та якості даних у Overstory.

Вимоги до часового поясу: Європа (GMT/WET, CET, EET) і Східна Північна Америка (NST, AST, EST)

Що ви зробите

У співпраці з колегами з обробки даних, машинного навчання та продуктів ви:

• Створюйте та вдосконалюйте наш рівень оркестровки — графіки активів, перевірки якості, стратегії розподілу та шаблони, які забезпечують надійне масштабування.

• Проектуйте та обслуговуйте конвеєри виробничих даних для великомасштабних геопросторових і часових даних, від прийому через перетворення до доставки.

• Очолюйте роботу з проектування системи на всій платформі даних, включаючи межі обслуговування, контракти на дані та проектування щодо режимів збоїв, пов’язаних із кожним із них.

• Зробіть перехід до сервісно-орієнтованої архітектури, розділяючи тісно пов’язані компоненти на служби, якими команди можуть володіти та розгортати незалежно.

• Створюйте робочі процеси, керовані подіями, замінюючи крихкий зв’язок і координацію вручну стійкими шаблонами обміну повідомленнями.

• Встановіть системи спостережливості, тестування та якості даних, щоб проблеми виникали до того, як клієнти їх бачать, дозволяючи відстежити та пояснити будь-який результат.

• Наставляти інженерів і визначати стандарти того, як ми створюємо, тестуємо та використовуємо системи даних.

Навички та досвід

• Досвід процвітання на стику обробки даних, розподілених систем і великомасштабних наукових даних; глибоко вмотивована можливістю зменшити ризик лісових пожеж і підвищити стійкість мережі за допомогою кращих моделей даних та інфраструктури

• Понад 10 років досвіду проектування та створення виробничих конвеєрів і систем даних

• Глибокий практичний досвід роботи з Dagster — оркестровка на основі активів, розділи, датчики та операційна сторона його запуску у виробництво (порівняний досвід із Airflow, Prefect або подібним є розумною заміною, якщо ви готові глибоко заглибитися в Dagster)

• Перевірений досвід створення та експлуатації конвеєрів даних у масштабі, з реальним відчуттям ідемпотентності, засипки та розділення

• Досвід у підготовці систем для роботи в періоди високого попиту з акцентом на передові методи тестування та масштабованості

• Сильні навички проектування системи — ви можете міркувати про межі, контракти, зчеплення та режими відмови, а також пояснювати компроміси людям, які використовуватимуть і створюватимуть їх

• Практичний досвід проектування сервіс-орієнтованої архітектури, включно з керуванням версіями та підтримкою роботи за допомогою міграцій

• Сильні навички Python і досвід роботи з Google Cloud

• Досвід роботи з шаблонами Pub/Sub і подіями

• Хороші комунікативні навички та вміння співпрацювати в розробці, машинному моделюванні та продукті

• Зручне ведення архітектурних дискусій та наставництво інших інженерів

• Досвід роботи в дистанційній та глобально розподіленій команді

Приємно мати

• Зручність роботи з геопросторовими даними та способи їх зберігання

• Досвід побудови конвеєрів даних, які забезпечують навчання та логічні висновки ML

• Досвід роботи з аналітичними інженерними інструментами та моделюванням складів у BigQuery

• Досвід інфраструктури як коду та комфорт володіння вашими системами у виробництві

• Досвід роботи в галузі дистанційного зондування, лісового господарства чи комунального сектору

Примітка. Ми віримо, що всі люди здатні на великі речі. Ми заохочуємо вас подати заявку, навіть якщо ви не відповідаєте всім вимогам, зазначеним у цій посадовій інструкції.

Що ми пропонуємо

• Конкурентоспроможна винагорода та переваги залежно від місця розташування

• Гнучке, автономне та спільне робоче середовище, засноване на довірі - ми будуємо робочі дні навколо свого життя, а не навпаки...

Джерело: Arbeitnow (https://www.arbeitnow.fr/jobs/companies/overstory/staff-data-engineer-442323)