Старший инженер-программист, данные

Прежде чем перейти к деталям, вот задача, которую вы поможете нам решить.

Мы создаем воплощенный интеллект, который безопасно перемещает настоящие транспортные средства, и экосистему, в которой в будущем будут работать миллиарды машин. Очень немногие люди в сфере ИИ могут сказать это. Каждая роль здесь, вне зависимости от команды, связана с этим.

Вот что включает в себя эта конкретная роль.
Роль
Portal — это облачная платформа, которая соединяет Wayve с внешним миром: обеспечивает обмен данными с партнерами, предоставляет аналитическую информацию об искусственном интеллекте и обеспечивает коммерческое развертывание ИИ-драйвера Wayve на транспортных средствах по всему миру.
Мы ищем старшего инженера-программиста по данным, который поможет создать центр передачи данных Wayve: критически важную часть инфраструктуры, которая будет масштабироваться для передачи петабайтов данных датчиков в день от партнеров, охватывающих транспортные средства по всему миру.
Это ключевой проект Wayve. Вы будете работать в составе небольшой, высокоавтономной команды, создающей глобально распределенную комплексную систему обмена данными, работая с такими партнерами, как Uber, Stellantis и Nissan. Ваша работа поможет сделать обучение моделей искусственного интеллекта Wayve возможным в широком масштабе.
Ключевые обязанности:

• Создание и эксплуатация крупномасштабных конвейеров передачи данных для видео, LiDAR и данных датчиков от глобальных партнеров со скоростью до ПБ/день.

• Вносить вклад в техническое проектирование Центра передачи данных, находя прагматичные компромиссы между UX, надежностью, пропускной способностью, стоимостью, ограничениями партнеров, наблюдаемостью и оперативной поддержкой.

• Создавайте параллельные распределенные конвейеры передачи данных с помощью Flyte для оркестрации рабочих процессов, шаблонов Kafka/управляемых событиями для отслеживания жизненного цикла и Azure для инфраструктуры хранения и передачи.

• Помогите внедрить и развить глобально распределенную звездообразную модель передачи данных для получения и обмена данными датчиков в большом масштабе с партнерами.

• Пишите инфраструктуру как код в Terraform и логику конвейера преимущественно на Python.

• Создайте надежную основу для работы, включая стратегии повторных попыток, обратное заполнение, проверки целостности данных, отслеживание жизненного цикла/состояния, информационные панели и оповещения.

• Работайте над облачными и кросс-облачными сетевыми решениями, используя Azure в качестве основной облачной платформы.

• После создания принимайте участие в дежурствах в нерабочее время и ротации поддержки.

• Сотрудничать с продуктовыми, коммерческими и партнерскими командами, чтобы понять ограничения и предложить решения, которые решают реальные проблемы клиентов и партнеров.

• Работайте в быстро меняющейся среде, где меняются требования и сроки поставки партнеров, сохраняя при этом высокие технические стандарты.

О тебе
Чтобы помочь вам добиться успеха в качестве старшего инженера-программиста в Wayve, нам нужны следующие навыки и опыт.
Существенный

• Подтвержденный опыт создания и эксплуатации крупномасштабных конвейеров передачи, приема или обработки данных, в идеале в масштабе нескольких ТБ или ПБ.

• Сильные навыки разработки программного обеспечения.

• Опыт поставки и обслуживания производственных систем

• Опыт оркестровки рабочих процессов для параллельных задач; Предпочтителен Flyte, но также актуальны Airflow, Prefect или подобные инструменты.

• Опыт создания надежных, наблюдаемых систем данных, включая стратегии повторных попыток, обратное заполнение, проверки целостности данных, отслеживание жизненного цикла/состояния и оперативное оповещение.

• Хорошие навыки работы с облачными платформами, предпочтительно Azure; опыт работы с AWS или GCP является плюсом

• Знание Python и Terraform.

• Опыт работы с хранилищем BLOB-объектов, крупномасштабным перемещением файлов, передачей данных по сети или из облака в облако.

• Продуктовое мышление: вы думаете о клиентах и создаете решения, которые устраняют реальные проблемы, а не просто реализуют требования.

• Комфортная работа в быстро меняющейся среде с меняющимися требованиями.

• Сильное чувство ответственности: вы берете на себя ответственность за результаты, четко коммуницируете и помогаете команде действовать быстро.

Желательный

• Опыт работы с внешними партнерами по обработке данных или технической интеграции с клиентами.

• Опыт работы в области беспилотных транспортных средств, робототехники, геопространственных данных, обработки видео или других областей, требующих больших объемов данных.

• Опыт работы с Kafka или другими системами, управляемыми событиями, для наблюдения за передачей и отслеживания жизненного цикла.

• Опыт создания информационных панелей для информирования о статусе задания на передачу.

• Работа с несколькими облаками в Azure, AWS и/или GCP.

• Опыт повышения экономической эффективности, пропускной способности и надежности крупномасштабных облачных систем обработки данных.

Это штатная должность в нашем офисе в Лондоне. В Wayve мы хотим лучшего из всех миров, поэтому мы придерживаемся гибридной рабочей политики, которая объединяет время, проведенное вместе в наших офисах и мастерских, чтобы стимулировать инновации, культуру, отношения и обучение, а также время, проводимое на дому.
Краткое и честное замечание перед подачей заявления.
Wayve не является зрелым, полностью структурированным местом с уже написанным сценарием. Большая часть того, как мы работаем, все еще пишется, и если вы присоединитесь, вы поможете это написать. Это подходит людям, которые больше хотят реальной собственности, чем людям, которым нужна устоявшаяся структура с первого дня.

Если это похоже на ту проблему, на решение которой вы хотите потратить свое время, нам бы очень хотелось услышать ваше мнение.

В Wayve мы стремимся создать разнообразную, справедливую и уважительную культуру, включающую каждого на основе его уникальных навыков и взглядов, независимо от пола, расы, религии или убеждений, этнического или национального происхождения, инвалидности, возраста, гражданства, семейного, домашнего или гражданского партнерства, сексуальной ориентации, гендерной идентичности, статуса ветерана, беременности или связанного с ней состояния (включая грудное вскармливание) или любого другого основания, защищенного действующим законодательством.

Для получения дополнительной информации посетите раздел «Карьера в Wayve». Чтобы узнать больше о том, что нами движет, посетите раздел «Ценности в Wayve…»

Источник: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/wayve/senior-software-engineer-data-london-united-kingdom-13175).