Старший інженер платформи даних

Компанія Aker Systems була заснована в 2017 році командою досвідчених технологічних професіоналів, які визнали можливість надавати високозахищені корпоративні платформи даних для великих організацій. Ми створюємо та керуємо передовою, надбезпечною, високопродуктивною хмарною інфраструктурою даних для підприємства. Наші запатентовані технологічні рішення підвищують продуктивність і знижують витрати, одночасно допомагаючи нашим клієнтам покращити керування та обмін даними в їхніх організаціях.

У 2024 році Aker Systems виграла нагороду Breakthrough Culture Awards, відзначивши компанії, що розвиваються, які ставлять культуру на перше місце. У 2020 році Aker Systems було визнано «Один, на який варто дивитися» за версією Sunday Times Tech Track. Компанію також відзначили на Thames Valley Tech Awards 2020; перемога в категоріях «Технічна компанія року в долині Темзи», «Технічна компанія, що розвивається» та «Технічний бізнес, що швидко розвивається». Ми заохочуємо людей із різним походженням та ідентичністю подавати заявки. Ми прагнемо підтримувати інклюзивне та сприятливе місце, де ви зможете виконувати свою найкращу роботу.

Через характер проекту потрібен дозвіл Урядової перевірки безпеки (SC) .
Ми шукаємо старшого інженера платформи даних для проектування, створення та експлуатації безпечних, масштабованих і надійних можливостей платформи даних для проектів доставки клієнтів у державному секторі та комунальних підприємствах.
Ви тісно співпрацюватимете з інженерами обробки даних, інженерами програмного забезпечення, архітекторами, інженерами DevOps та зацікавленими сторонами клієнтів, щоб розробляти та підтримувати платформи даних у хмарі, які підтримують пакетну передачу, потокове передавання в режимі реального часу, аналітичні та операційні робочі навантаження.
Це практична інженерна роль, зосереджена на створенні надійних платформних сервісів, автоматизації інфраструктури та розгортання, підтримці виробничих середовищ і сприянні технічним рішенням щодо дизайну.
Великий досвід роботи з хмарними платформами, розподіленими системами та потоковими технологіями в реальному часі є дуже бажаним.
Основні обов'язки

• Проектування, розробка, тестування та розгортання служб і компонентів платформи даних.

• Створюйте та підтримуйте можливості платформи, що підтримують пакетне навантаження даних і дані в реальному часі.

• Розробка та експлуатація розподілених служб даних з використанням Kafka, Kinesis, Spark, Flink або еквівалентних технологій.

• Створюйте та підтримуйте можливості хмарної платформи даних за допомогою AWS та/або Azure.

• Підтримка прийому, обробки, зберігання та інтеграції даних у кількох системах.

• Розробляти та підтримувати моделі даних, схеми та структури даних платформи.

• Підтримка еволюції схем, якості та цілісності даних на розподілених платформах.

• Інтеграція платформ даних з реляційними базами даних і базами даних NoSQL.

• Розробити автоматизоване тестування та перевірку служб платформи та компонентів обробки даних.

• Впроваджувати та підтримувати конвеєри CI/CD для робочих навантажень платформи даних.

• Використовуйте інфраструктуру як код для створення повторюваних і підтримуваних середовищ.

• Підтримка платформних середовищ на основі Docker і Kubernetes.

• Відстежуйте служби платформи та досліджуйте збої, проблеми з продуктивністю та операційні проблеми.

• Участь у розслідуванні інциденту та аналізі першопричини.

• Підтримка продуктивності, масштабованості, стійкості та доступності платформи.

• Сприяти безпеці платформи, керуванню та готовності до експлуатації.

• Тісно співпрацювати з інженерами програмного забезпечення, інженерами даних, DevOps і архітекторами.

• Брати участь в обговореннях технічного дизайну, перегляді коду та інженерних стандартах.

• Сприяти постійному вдосконаленню практик розробки платформи.

Основні технічні навички та досвід

• Великий комерційний досвід на посаді старшого інженера платформи даних, старшого інженера даних, інженера платформи, інженера програмного забезпечення тощо.

• Міцний практичний досвід створення й експлуатації хмарних платформ даних.

• Великий досвід програмування з використанням Java та/або Python.

• Практичний досвід роботи з потоковою передачею в реальному часі та архітектурами, керованими подіями, зокрема Kafka, Kinesis або подібними.

• Досвід роботи з технологіями розподіленої обробки даних, такими як Spark, Flink, Kafka Streams або аналогічні.

• Значний досвід роботи з хмарними середовищами AWS та/або Azure.

• Досвід роботи з хмарними службами, такими як S3, Glue, Lambda, RDS, Athena, EC2 або еквіваленти Azure.

• Глибоке розуміння архітектури платформи даних, конвеєрів даних і розподіленої обробки.

• Досвід роботи з реляційними та NoSQL базами даних.

• Сильні навички SQL і розуміння моделювання даних і проектування схем.

• Досвід роботи з CI/CD і практиками DevOps.

• Досвід використання Terraform або еквівалентних технологій Infrastructure as Code.

• Досвід роботи з Docker і/або Kubernetes.

• Досвід використання GitHub/GitLab і сучасних методів контролю джерел.

• Досвід впровадження моніторингу, журналювання та спостережуваності для сервісів платформи.

• Досвід підтримки виробничих систем і вирішення технічних і операційних питань.

• Розуміння безпеки платформи, стійкості, масштабованості та доступності.

• Досвід роботи в середовищах доставки Agile та/або DevOps.

•
Бажано: Helm, ArgoCD, Airflow, dbt, Bash, Ansible, Packer, Elasticsearch/OpenSearch, Prometheus, Grafana, ELK або Datadog.

• Досвід роботи в державному секторі, комунальних підприємствах або інших регульованих середовищах є перевагою.

Розробка платформи даних
Як старший інженер платформи даних, ви візьмете на себе відповідальність за комплексну роботу з розробки платформи у вашій команді доставки клієнтів.
Ви:

• Створюйте та обслуговуйте надійні компоненти та служби платформи даних.

• Сприяти технічному дизайну та прийняттю рішень щодо впровадження.

• Розробити шаблони платформ, які можна багаторазово використовувати та підтримувати.

• Підтримка прийому, обробки, зберігання та інтеграції даних.

• Визначити ризики платформи, пов’язані з продуктивністю, масштабованістю, безпекою та надійністю.

• Сприяти налаштуванню та оптимізації продуктивності платформи.…

Джерело: Himalayas (https://himalayas.app/companies/aker-systems/jobs/senior-data-platform-engineer)