Старший инженер-программист, служба обработки данных и платформ

Местоположение: Берлин, Германия Удаленный статус: Полностью удаленный (#LI-Remote)

LivePerson (NASDAQ: LPSN) — лидер в области надежного корпоративного диалогового искусственного интеллекта и цифровой трансформации. Ведущие мировые бренды используют нашу отмеченную наградами платформу Conversational Cloud для связи с миллионами потребителей. Каждый месяц мы обеспечиваем почти миллиард диалоговых взаимодействий, предоставляя уникальные инструменты анализа данных и безопасности, позволяющие раскрыть возможности диалогового искусственного интеллекта для достижения лучших бизнес-результатов. Компания Fast Company назвала LivePerson самой инновационной компанией в области искусственного интеллекта №1 в мире.

Обзор позиции

Мы ищем старшего инженера-программиста, который присоединится к нашей глобально распределенной команде по платформам данных в Европе и сыграет ключевую роль в формировании будущего нашей экосистемы данных.

В этой важной роли индивидуального участника вы возглавите модернизацию нашей основной платформы данных путем миграции критически важных конвейеров данных из устаревших сред Hadoop, Spark и Impala в масштабируемую облачную архитектуру Databricks. У вас будет возможность принимать технические решения, влиять на архитектуру платформы и создавать основу для передачи данных во всем бизнесе.

Если вы опытный инженер, которому нравится решать сложные технические задачи, создавать современные платформы данных и оказывать длительное влияние в масштабе, мы будем рады услышать ваше мнение!

Вы будете: основные обязанности и влияние

•
Возглавьте модернизацию нашей платформы данных. Возьмите на себя ответственность за миграцию критически важных конвейеров данных из устаревших сред Hadoop, Spark и Impala в современную масштабируемую экосистему Databricks. Вы перепроектируете рабочие процессы ETL, преобразуете сложный SQL и легко перенесете интеграции, соединения и секреты.

•
Ускорьте разработку с помощью разработки на базе искусственного интеллекта. Используйте передовые помощники по программированию на базе искусственного интеллекта, такие как Claude и Codex, чтобы значительно ускорить процесс миграции. Вместо того чтобы вручную переписывать устаревший код, вы будете направлять инструменты ИИ для преобразования SQL, модернизации сценариев ETL, распутывания зависимостей и создания чистого, удобного в обслуживании кода, одновременно применяя свой инженерный опыт для проверки архитектуры, производительности и качества.

•
Создайте следующее поколение конвейеров данных: проектируйте, разрабатывайте и оптимизируйте масштабируемые рабочие процессы обработки данных с помощью Airflow и Databricks. Вы создадите отказоустойчивые, высокопроизводительные конвейеры, надежные, экономичные и созданные для поддержки растущих потребностей бизнеса.

•
Чемпион по качеству данных. Обеспечьте точность и согласованность перенесенных данных за счет реализации комплексных стратегий проверки и тестирования. Вы будете играть решающую роль в поддержании целостности данных на протяжении всего пути миграции.

•
Повышение надежности платформы. Помогите повысить эффективность работы за счет улучшения методов наблюдения, мониторинга и реагирования на инциденты. Способствуйте повышению надежности обслуживания посредством SLO/SLA и участвуйте в масштабируемой ротации дежурств для поддержки производственных систем.

•
Обеспечьте значимое влияние на бизнес. Примените свое понимание аналитики контакт-центра для создания платформ, которые позволяют анализировать разговоры с клиентами, составлять отчеты и бизнес-аналитику. Вы освоите мышление, основанное на данных, проектируя системы, которые измеримы, наблюдаемы и постоянно совершенствуются.

У вас есть: необходимые навыки и квалификация

•
Обширный опыт разработки программного обеспечения: 6–8 лет опыта создания и поддержки распределенных систем и крупномасштабных платформ данных, с доказанной способностью реализовывать сложные технические инициативы от проектирования до производства.

•
Проверенный опыт модернизации платформ: практический опыт, ведущий или играющий ключевую роль в миграции корпоративных платформ данных с устаревших технологий, таких как Hadoop, Spark, Hive или Impala, на современные облачные решения, такие как Databricks.

•
Глубокий опыт работы с Databricks: глубокие знания экосистемы Databricks, включая Jobs, Delta Lake, настройку и оптимизацию кластера, а также миграцию сложных рабочих нагрузок SQL из Impala или Hive в Spark SQL.

•
Навыки конвейера данных и оркестрации: продвинутые навыки программирования на Python для разработки ETL и обширный опыт проектирования, построения, отладки и оптимизации конвейеров производственных данных и рабочих процессов оркестрации с использованием Airflow и Databricks.

•
Знания об облаках и инфраструктуре: опыт работы с облачными платформами данных, в частности с Google Cloud Platform (GCP) и Google Cloud Storage (GCS), с пониманием контейнерных микросервисных архитектур на базе Kubernetes (GKE).

• Экспертиза современных платформ данных:

•
Глубокое понимание архитектур распределенной обработки данных и компромиссов между обработкой данных в реальном времени и пакетной обработкой.

•
Практический опыт работы с устаревшими технологиями больших данных, включая Hadoop и MapReduce, с возможностью модернизации и миграции сложных экосистем данных.

•
Знание шаблонов интеграции данных, включая API, соединители, веб-перехватчики и архитектуры, управляемые событиями.

• Разработка облачных технологий и платформ:

•
Опыт создания, развертывания и управления облачными платформами данных, желательно опыт работы с Google Cloud Platform (GCP).

•
Знакомство с контейнерными средами и выполнением рабочих нагрузок с данными в Kubernetes.

•
Особое внимание уделяется созданию высоконадежных, масштабируемых и наблюдаемых платформ, а также опыт внедрения мониторинга, проверки и контроля качества данных для обеспечения успешной миграции.

• Разработка программного обеспечения с использованием искусственного интеллекта:

•
Опыт использования инструментов разработки на базе искусственного интеллекта, таких как Claude, Codex или аналогичных помощников по программированию, для ускорения разработки программного обеспечения, модернизации кода и миграции платформ.

•
Обладает навыками эффективного запроса, проверки и проверки кода, сгенерированного ИИ, обеспечивая при этом архитектурную целостность, ремонтопригодность и готовность к производству.

• Сотрудничество и общение:

•
Отличные коммуникативные навыки и навыки совместной работы, а также опыт партнерства с инженерными командами в разных часовых поясах.…

Источник: Jobicy (https://jobicy.com/jobs/153692-senior-software-engineer-data-platform-services).