Старший инженер платформы данных

Aker Systems была основана в 2017 году командой опытных специалистов в области технологий, которые осознали возможность предоставления высокозащищенных платформ корпоративных данных крупным организациям. Мы создаем и эксплуатируем революционную, сверхбезопасную, высокопроизводительную облачную инфраструктуру данных для предприятий. Наши запатентованные технологические решения повышают производительность и сокращают затраты, помогая нашим клиентам улучшить управление и обмен данными в своих организациях.

В 2024 году Aker Systems получила награду Breakthrough Culture Awards, подчеркнув, что растущие компании ставят культуру на первое место. В 2020 году компания Aker Systems была признана «Лучшей компанией, за которой стоит следить» по версии журнала Sunday Times Tech Track. Компания также была отмечена на премии Thames Valley Tech Awards 2020; победа в номинациях «Технологическая компания года Thames Valley», «Новая технологическая компания» и «Высокорастущий технологический бизнес». Мы призываем людей самого разного происхождения и идентичности подавать заявки. Мы стремимся поддерживать инклюзивное и благоприятное место, где вы можете делать свою лучшую работу.

В связи с характером проекта требуется разрешение правительства Великобритании на проверку безопасности (SC).
Мы ищем старшего инженера платформы данных для проектирования, создания и эксплуатации безопасных, масштабируемых и надежных платформ данных в проектах доставки клиентов в государственном секторе и коммунальных услугах.
Вы будете тесно сотрудничать с инженерами по обработке данных, инженерами-программистами, архитекторами, инженерами DevOps и заинтересованными сторонами для разработки и обслуживания облачных платформ данных, поддерживающих пакетные, потоковые, аналитические и операционные рабочие нагрузки в реальном времени.
Это практическая инженерная должность, направленная на создание надежных платформенных сервисов, автоматизацию инфраструктуры и развертываний, поддержку производственных сред и участие в принятии решений по техническому проектированию.
Желателен большой опыт работы с облачными платформами, распределенными системами и технологиями потоковой передачи в реальном времени.
Ключевые обязанности

• Проектирование, разработка, тестирование и развертывание сервисов и компонентов платформы данных.

• Создавать и поддерживать возможности платформы, поддерживающие пакетную обработку данных и обработку данных в режиме реального времени.

• Разрабатывать и эксплуатировать службы распределенных данных с использованием Kafka, Kinesis, Spark, Flink или эквивалентных технологий.

• Создавать и поддерживать возможности облачной платформы данных с помощью AWS и/или Azure.

• Поддержка приема, обработки, хранения и интеграции данных в нескольких системах.

• Разрабатывать и поддерживать модели данных, схемы и структуры данных платформы.

• Поддержка эволюции схемы, качества и целостности данных на распределенных платформах.

• Интегрируйте платформы данных с реляционными базами данных и базами данных NoSQL.

• Разработать автоматизированное тестирование и проверку сервисов платформы и компонентов обработки данных.

• Внедрять и поддерживать конвейеры CI/CD для рабочих нагрузок платформы данных.

• Используйте инфраструктуру как код для создания воспроизводимых и удобных в обслуживании сред.

• Поддержка платформ на базе Docker и Kubernetes.

• Мониторинг служб платформы и расследование сбоев, проблем с производительностью и эксплуатационных проблем.

• Участвовать в расследовании инцидентов и анализе первопричин.

• Поддержка повышения производительности, масштабируемости, отказоустойчивости и доступности платформы.

• Вносить вклад в безопасность платформы, управление и эксплуатационную готовность.

• Тесно сотрудничать с инженерами-программистами, инженерами по обработке данных, DevOps и архитекторами.

• Участвовать в обсуждениях технического проекта, проверках кода и технических стандартов.

• Вносить вклад в постоянное совершенствование методов проектирования платформ.

Основные технические навыки и опыт

• Большой коммерческий опыт работы в качестве старшего инженера по платформам данных, старшего инженера по данным, инженера по платформам, инженера-программиста или аналогичного специалиста.

• Большой практический опыт создания и эксплуатации облачных платформ данных.

• Большой опыт программирования с использованием Java и/или Python.

• Практический опыт работы с потоковой передачей в реальном времени и архитектурами, управляемыми событиями, включая Kafka, Kinesis или аналогичные.

• Опыт работы с технологиями распределенной обработки данных, такими как Spark, Flink, Kafka Streams или эквивалентными.

• Большой опыт работы с облачными средами AWS и/или Azure.

• Опыт работы с облачными сервисами, такими как S3, Glue, Lambda, RDS, Athena, EC2 или эквивалентами Azure.

• Глубокое понимание архитектуры платформы данных, конвейеров данных и распределенной обработки.

• Опыт работы с реляционными и NoSQL базами данных.

• Сильные навыки SQL и понимание моделирования данных и проектирования схем.

• Опыт работы с практиками CI/CD и DevOps.

• Опыт использования Terraform или эквивалентной технологии «Инфраструктура как код».

• Опыт работы с Docker и/или Kubernetes.

• Опыт использования GitHub/GitLab и современных методов контроля версий.

• Опыт реализации мониторинга, ведения журналов и наблюдения для сервисов платформы.

• Опыт поддержки производственных систем и решения технических и эксплуатационных вопросов.

• Понимание безопасности, устойчивости, масштабируемости и доступности платформы.

• Опыт работы в средах доставки Agile и/или DevOps.

•
Желательно: Helm, ArgoCD, Airflow, dbt, Bash, Ansible, Packer, Elasticsearch/OpenSearch, Prometheus, Grafana, ELK или Datadog.

• Опыт работы в государственном секторе, коммунальных предприятиях или других регулируемых средах является преимуществом.

Разработка платформы данных
В качестве старшего инженера платформы данных вы возьмете на себя ответственность за комплексную деятельность по проектированию платформы в своей команде по работе с клиентами.
Вы будете:

• Создавать и поддерживать надежные компоненты и услуги платформы данных.

• Вносить вклад в техническое проектирование и решения по реализации.

• Разрабатывать многоразовые и удобные в сопровождении шаблоны платформ.

• Поддержка приема, обработки, хранения и интеграции данных.

• Определить риски платформы, связанные с производительностью, масштабируемостью, безопасностью и надежностью.

• Участвовать в настройке и оптимизации производительности платформы.…

Источник: Гималаи (https://himalayas.app/companies/aker-systems/jobs/senior-data-platform-engineer).