Старший інженер-програміст відділу даних і платформ

Розташування: Берлін, Німеччина Віддалений статус: Повністю віддалений (#LI-Remote)

LivePerson (NASDAQ: LPSN) є лідером у сфері розмовного ШІ та цифрової трансформації. Провідні світові бренди використовують нашу відзначену нагородами платформу Conversational Cloud, щоб спілкуватися з мільйонами споживачів. Ми забезпечуємо майже мільярд розмовних взаємодій щомісяця, надаючи унікальні аналітичні дані та інструменти безпеки, щоб розблокувати потужність розмовного штучного інтелекту для кращих бізнес-результатів. Fast Company назвала LivePerson найінноваційнішою компанією ШІ №1 у світі.

Огляд позиції

Ми шукаємо старшого інженера-програміста, який приєднається до нашої глобально розподіленої команди Data Platform у Європі та відіграє ключову роль у формуванні майбутнього нашої екосистеми даних.

У цій важливій ролі індивідуального учасника ви керуватимете модернізацією нашої основної платформи даних шляхом переміщення важливих конвеєрів даних із застарілих середовищ Hadoop, Spark і Impala на масштабовану хмарну архітектуру Databricks. Ви матимете можливість керувати технічними рішеннями, впливати на архітектуру платформи та будувати основу, яка забезпечує роботу даних у всьому бізнесі.

Якщо ви практичний інженер, який любить вирішувати складні технічні завдання, створювати сучасні платформи даних і досягати тривалого впливу в масштабі, ми будемо раді почути від вас!

Ви: Ключові обов’язки та вплив

•
Керуйте модернізацією нашої платформи даних: візьміть на себе відповідальність за перенесення важливих конвеєрів даних із застарілих середовищ Hadoop, Spark і Impala до сучасної масштабованої екосистеми Databricks. Ви перебудуєте робочі процеси ETL, перетворите складний SQL і плавно перенесете інтеграції, підключення та секрети.

•
Прискорюйте розробку за допомогою технології штучного інтелекту. Використовуйте найсучасніші помічники кодування штучного інтелекту, такі як Claude і Codex, щоб значно прискорити роботу з міграції. Замість того, щоб вручну переписувати застарілий код, ви керуватимете інструментами штучного інтелекту, щоб конвертувати SQL, модернізувати сценарії ETL, розплутувати залежності та генерувати чистий код, який зручно підтримувати, одночасно застосовуючи свій інженерний досвід для перевірки архітектури, продуктивності та якості.

•
Створіть нове покоління конвеєрів даних: проектуйте, розробляйте та оптимізуйте масштабовані робочі процеси даних за допомогою Airflow і Databricks. Ви створите стійкі, високопродуктивні конвеєри, які є надійними, економічно ефективними та створеними для підтримки зростаючих потреб бізнесу.

•
Чемпіонська якість даних: Забезпечте точність і узгодженість переміщених даних шляхом впровадження комплексних стратегій перевірки та тестування. Ви відіграватимете важливу роль у підтримці цілісності даних протягом усього шляху міграції.

•
Підвищення надійності платформи: допоможіть досягти операційної досконалості, покращивши спостережливість, моніторинг і методи реагування на інциденти. Зробіть внесок у надійність обслуговування через SLO/SLA та беріть участь у масштабованій ротації за викликом для підтримки виробничих систем.

•
Забезпечте суттєвий вплив на бізнес: застосуйте своє розуміння аналітики контакт-центру, щоб створювати платформи, які сприятимуть аналізу розмов із клієнтами, звітності та бізнес-аналітики. Ви будете приймати мислення, кероване даними, проектування систем, які можна вимірювати, спостерігати та постійно вдосконалювати.

У вас є: необхідні навички та кваліфікація

•
Великий досвід розробки програмного забезпечення: 6–8 років досвіду створення та підтримки розподілених систем і великомасштабних платформ даних із підтвердженою здатністю володіти складними технічними ініціативами від проектування до виробництва.

•
Перевірений досвід модернізації платформи: практичний досвід керівництва або відігравання ключової ролі в міграції корпоративних платформ даних із застарілих технологій, таких як Hadoop, Spark, Hive або Impala, до сучасних хмарних рішень, таких як Databricks.

•
Глибокий досвід Databricks: глибоке знання екосистеми Databricks, включаючи Jobs, Delta Lake, конфігурацію та оптимізацію кластера, а також міграцію складних робочих навантажень SQL з Impala або Hive на Spark SQL.

•
Навички конвеєра даних і оркестровки: розширені навички програмування на Python для розробки ETL і великий досвід проектування, створення, налагодження та оптимізації конвеєрів виробничих даних і оркестровки робочих процесів за допомогою Airflow і Databricks.

•
Знання хмари та інфраструктури: досвід роботи з власними хмарними платформами даних, зокрема Google Cloud Platform (GCP) і Google Cloud Storage (GCS), із розумінням контейнерних архітектур мікросервісів на основі Kubernetes (GKE).

• Експертиза сучасної платформи даних:

•
Чітке розуміння архітектур розподіленої обробки даних і компромісів між обробкою даних у реальному часі та пакетною обробкою даних.

•
Практичний досвід роботи зі застарілими технологіями великих даних, зокрема Hadoop і MapReduce, з можливістю модернізації та міграції складних екосистем даних.

•
Знання шаблонів інтеграції даних, включаючи API, конектори, веб-хуки та архітектури, керовані подіями.

• Розробка хмар і платформ:

•
Досвід створення, розгортання та керування власними хмарними платформами даних, бажано досвід роботи з Google Cloud Platform (GCP).

•
Знайомство з контейнерними середовищами та робочими навантаженнями даних у Kubernetes.

•
Велика увага приділяється створенню високонадійних, масштабованих і спостережуваних платформ, досвід впровадження моніторингу, перевірки та контролю якості даних для забезпечення успішних міграцій.

• Розробка програмного забезпечення за допомогою ШІ:

•
Досвід використання інструментів розробки на основі штучного інтелекту, таких як Claude, Codex або подібних помічників кодування, щоб прискорити розробку програмного забезпечення, модернізацію коду та міграцію платформи.

•
Володіє навичками ефективного підказування, перегляду та перевірки коду, згенерованого штучним інтелектом, одночасно забезпечуючи цілісність архітектури, зручність обслуговування та готовність до виробництва.

• Співпраця та спілкування:

•
Чудові навички спілкування та співпраці, а також досвід партнерства між командами інженерів у різних часових поясах.…

Джерело: Jobicy (https://jobicy.com/jobs/153692-senior-software-engineer-data-platform-services)