Штатный инженер по данным

Климатический кризис является определяющей проблемой нашего времени, но это также величайшая возможность для инноваций и вызов, который мы с гордостью принимаем. В Overstory мы используем передовые технологии, чтобы создать устойчивую электрическую сеть, которая поддерживает процветание сообществ по мере изменения нашего мира.

Сетка — это основа жизни, какой мы ее знаем. Он питает больницы, сохраняет продукты свежими и обеспечивает связь между сообществами. Но экстремальные погодные условия, стареющая инфраструктура и растущие риски лесных пожаров оказывают давление на эту важнейшую систему. Все это в совокупности делает электроэнергетическую отрасль величайшей возможностью для решения проблемы изменения климата.

Одна из основных причин катастрофических лесных пожаров и отключений электроэнергии? Деревья и кустарник соприкасаются с линиями электропередачи.

Вот где мы помогаем. В Overstory мы используем искусственный интеллект и передовые спутниковые изображения, чтобы точно определить и приоритизировать риски растительности до того, как они материализуются. Предоставляя коммунальным предприятиям критический анализ этих рисков, мы помогаем предотвратить перебои в работе, снизить риски лесных пожаров и ускорить переход к более безопасной и устойчивой сети.

Наша команда охватывает Америку и Европу, и мы работаем с партнерами по коммунальным предприятиям в Америке и за ее пределами. Мы любители активного отдыха, музыканты, художники, спортсмены, родители и искатели приключений. Нас объединяет страсть к решению сложных проблем, приверженность борьбе с изменением климата и вера в то, что технологии должны быть силой добра.

Присоединяйтесь к нам, чтобы вместе помочь нам построить более устойчивый мир.

Роль и команда

В качестве штатного инженера по данным в Overstory вы будете руководить проектированием и масштабированием платформы данных, которая позволяет Overstory проводить анализ растительности на основе искусственного интеллекта. Наш анализ зависит от надежной, повторяемой и своевременной передачи огромных объемов спутниковых изображений, выводов моделей и данных инженерных сетей через организованные конвейеры для поддержки принятия решений клиентами. Вы будете владеть архитектурой этой платформы и задавать направление ее развития.

Вы будете тесно сотрудничать с разработчиками данных, машинного обучения и продуктами, а также с командами продуктов, чтобы гарантировать, что данные, поступающие в наши модели и отправляемые нашим клиентам, сочетают в себе прагматичную доставку с надежностью, отслеживаемостью и масштабируемостью. В качестве старшего технического руководителя вы будете наставлять других инженеров, принимать архитектурные решения и устанавливать стандарты проектирования конвейеров, границ обслуживания и качества данных в Overstory.

Требование к часовому поясу: Европа (GMT/WET, CET, EET) и восточная часть Северной Америки (NST, AST, EST).

Что вы будете делать

В сотрудничестве с коллегами по данным, машинному обучению и продуктам вы сможете:

• Спроектируйте и развивайте наш уровень оркестрации — графики ресурсов, проверки качества, стратегии секционирования и шаблоны, обеспечивающие надежное масштабирование.

• Проектировать и поддерживать конвейеры производственных данных для крупномасштабных геопространственных и временных данных, от приема через преобразование до доставки.

• Руководить проектированием системы на всей платформе данных, включая границы сервисов, контракты данных и проектирование с учетом режимов сбоев, присущих каждому из них.

• Обеспечить переход к сервис-ориентированной архитектуре, разделив тесно связанные компоненты на сервисы, которыми команды могут владеть и развертывать независимо.

• Создавайте управляемые событиями рабочие процессы, заменяя хрупкую связь и ручную координацию надежными шаблонами обмена сообщениями.

• Создайте системы наблюдения, тестирования и качества данных, чтобы проблемы выявлялись до того, как их увидят клиенты, позволяя отслеживать и объяснять любые результаты.

• Научите инженеров и определите стандарты того, как мы создаем, тестируем и эксплуатируем системы данных.

Навыки и опыт

• Опыт успешной работы на стыке инженерии данных, распределенных систем и крупномасштабных научных данных; глубоко мотивированы возможностью снизить риск лесных пожаров и повысить устойчивость сети за счет улучшения шаблонов данных и инфраструктуры.

• Более 10 лет опыта проектирования и создания конвейеров и систем данных промышленного уровня.

• Глубокий практический опыт работы с Dagster — оркестровка на основе активов, разделы, датчики и операционная сторона запуска в производственной среде (сравнимый опыт работы с Airflow, Prefect или аналогичными решениями является разумной заменой, если вы готовы углубиться в Dagster).

• Проверенный опыт построения и эксплуатации конвейеров данных в любом масштабе с реальным пониманием идемпотентности, обратного заполнения и секционирования.

• Опыт подготовки систем к работе в периоды высокого спроса с упором на лучшие практики тестируемости и масштабируемости.

• Сильные навыки проектирования систем — вы можете рассуждать о границах, контрактах, связях и режимах сбоя, а также объяснять компромиссы людям, которые будут их использовать и развивать.

• Практический опыт проектирования сервис-ориентированной архитектуры, включая управление версиями и поддержание работоспособности посредством миграции.

• Хорошие навыки Python и опыт работы с Google Cloud.

• Опыт работы с шаблонами Pub/Sub и событийно-ориентированными шаблонами.

• Сильные коммуникативные навыки и способность сотрудничать в области проектирования, машинного обучения и разработки продуктов.

• Комфортное ведение архитектурных обсуждений и наставничество других инженеров.

• Опыт работы в удаленной и глобально распределенной команде

приятно иметь

• Комфортная работа с геопространственными данными и способами их хранения.

• Опыт создания конвейеров данных для обучения и вывода машинного обучения.

• Опыт работы с инструментами аналитической инженерии и моделирования складов в BigQuery.

• Опыт использования инфраструктуры как кода и удобство владения вашими системами в производственной среде.

• Опыт работы в области дистанционного зондирования, лесного хозяйства или коммунального хозяйства.

Примечание: Мы верим, что все люди способны на великие дела. Мы рекомендуем вам подать заявку, даже если вы не соответствуете всем требованиям, перечисленным в этой описании вакансии.

Что мы предлагаем

• Конкурентные компенсации и льготы, зависящие от региона.

• Гибкая, автономная и совместная рабочая среда, основанная на доверии – мы строим наши рабочие дни вокруг нашей жизни, а не наоборот…

Источник: Удаленная работа в ЕС (https://euremotejobs.com/job/staff-data-engineer-2/).