Starszy inżynier ds. platform danych

Firma Aker Systems została założona w 2017 roku przez zespół doświadczonych specjalistów w dziedzinie technologii, którzy dostrzegli szansę na zapewnienie dużym organizacjom wysoce bezpiecznych platform danych korporacyjnych. Budujemy i obsługujemy przełomową, ultrabezpieczną, wysokowydajną infrastrukturę danych opartą na chmurze dla przedsiębiorstw. Nasze autorskie rozwiązania technologiczne zwiększają wydajność i redukują koszty, pomagając jednocześnie naszym klientom usprawnić zarządzanie i udostępnianie danych w ich organizacjach.

W 2024 r. firma Aker Systems zdobyła nagrodę Breakthrough Culture Awards, wyróżniającą rozwijające się firmy, które stawiają kulturę na pierwszym miejscu. W 2020 r. firma Aker Systems została uznana za „One to Watch” w ścieżce technologicznej Sunday Times. Firma została także wyróżniona w konkursie Thames Valley Tech Awards 2020; zdobywając nagrody w kategoriach Firma roku Thames Valley Tech, Emerging Tech Company i High Growth Tech Business. Zachęcamy do aplikowania osoby z różnych środowisk i o różnej tożsamości. Zależy nam na utrzymaniu włączającego i wspierającego miejsca, w którym możesz wykonywać swoją najlepszą pracę.

Ze względu na charakter projektu wymagane jest zezwolenie rządu Wielkiej Brytanii na kontrolę bezpieczeństwa (SC).
Poszukujemy starszego inżyniera ds. platform danych do projektowania, budowania i obsługi bezpiecznych, skalowalnych i niezawodnych możliwości platform danych w projektach dostaw do klientów w sektorze publicznym i użyteczności publicznej.
Będziesz ściśle współpracować z inżynierami danych, inżynierami oprogramowania, architektami, inżynierami DevOps i interesariuszami klientów, aby rozwijać i utrzymywać natywne platformy danych w chmurze obsługujące obciążenia wsadowe, strumieniowanie w czasie rzeczywistym, obciążenia analityczne i operacyjne.
Jest to praktyczna rola inżyniera skupiona na budowaniu niezawodnych usług platformowych, automatyzacji infrastruktury i wdrożeń, wspieraniu środowisk produkcyjnych i przyczynianiu się do decyzji dotyczących projektu technicznego.
Pożądane jest duże doświadczenie z platformami chmurowymi, systemami rozproszonymi i technologiami przesyłania strumieniowego w czasie rzeczywistym.
Kluczowe obowiązki

• Projektuj, rozwijaj, testuj i wdrażaj usługi i komponenty platformy danych.

• Twórz i utrzymuj możliwości platformy obsługującej obciążenia danymi w trybie wsadowym i czasie rzeczywistym.

• Rozwijać i obsługiwać rozproszone usługi danych przy użyciu technologii Kafka, Kinesis, Spark, Flink lub równoważnych.

• Twórz i utrzymuj możliwości platformy danych natywnej w chmurze przy użyciu AWS i/lub Azure.

• Wsparcie przyjmowania, przetwarzania, przechowywania i integracji danych w wielu systemach.

• Opracowywanie i utrzymywanie modeli danych, schematów i struktur danych platform.

• Wspiera ewolucję schematu, jakość i integralność danych na platformach rozproszonych.

• Integruj platformy danych z relacyjnymi bazami danych i bazami danych NoSQL.

• Opracowanie zautomatyzowanych testów i walidacji usług platformowych i komponentów przetwarzania danych.

• Wdrażanie i utrzymywanie potoków CI/CD dla obciążeń platformy danych.

• Używaj infrastruktury jako kodu, aby tworzyć powtarzalne i łatwe w utrzymaniu środowiska.

• Obsługa środowisk platform opartych na Dockerze i Kubernetes.

• Monitoruj usługi platformy i badaj awarie, problemy z wydajnością i problemy operacyjne.

• Uczestnictwo w badaniu incydentów i analizie przyczyn źródłowych.

• Ulepszenia wydajności platformy, skalowalności, odporności i dostępności.

• Przyczynianie się do bezpieczeństwa platformy, zarządzania i gotowości operacyjnej.

• Ściśle współpracuj z inżynierami oprogramowania, inżynierami danych, DevOps i architektami.

• Uczestnictwo w dyskusjach na temat projektów technicznych, przeglądach kodu i standardach inżynieryjnych.

• Przyczynianie się do ciągłego doskonalenia praktyk inżynieryjnych platform.

Niezbędne umiejętności techniczne i doświadczenie

• Silne doświadczenie komercyjne jako starszy inżynier ds. platform danych, starszy inżynier danych, inżynier platform, inżynier oprogramowania lub podobny.

• Duże, praktyczne doświadczenie w budowaniu i obsłudze platform danych natywnych dla chmury.

• Duże doświadczenie w programowaniu przy użyciu języka Java i/lub Python.

• Praktyczne doświadczenie w zakresie przesyłania strumieniowego w czasie rzeczywistym i architektur sterowanych zdarzeniami, w tym Kafka, Kinesis lub równoważnych.

• Doświadczenie z technologiami rozproszonego przetwarzania danych, takimi jak Spark, Flink, Kafka Streams lub równoważne.

• Duże doświadczenie w środowiskach chmurowych AWS i/lub Azure.

• Doświadczenie z usługami chmurowymi, takimi jak S3, Glue, Lambda, RDS, Athena, EC2 lub odpowiednikami Azure.

• Silne zrozumienie architektury platformy danych, potoków danych i przetwarzania rozproszonego.

• Doświadczenie z relacyjnymi bazami danych i bazami NoSQL.

• Silne umiejętności SQL i zrozumienie modelowania danych i projektowania schematów.

• Doświadczenie w praktykach CI/CD i DevOps.

• Doświadczenie w korzystaniu z technologii Terraform lub równoważnej infrastruktury jako kodu.

• Doświadczenie z Dockerem i/lub Kubernetesem.

• Doświadczenie w korzystaniu z GitHub/GitLab i nowoczesnych praktyk kontroli źródła.

• Doświadczenie we wdrażaniu monitorowania, rejestrowania i obserwowalności usług platformy.

• Doświadczenie we wspieraniu systemów produkcyjnych oraz rozwiązywaniu problemów technicznych i operacyjnych.

• Zrozumienie bezpieczeństwa platformy, odporności, skalowalności i dostępności.

• Doświadczenie w pracy w środowiskach dostaw Agile i/lub DevOps.

•
Pożądane: Helm, ArgoCD, Airflow, dbt, Bash, Ansible, Packer, Elasticsearch/OpenSearch, Prometheus, Grafana, ELK lub Datadog.

• Mile widziane doświadczenie w pracy w sektorze publicznym, przedsiębiorstwach użyteczności publicznej lub w innych regulowanych środowiskach.

Inżynieria platform danych
Jako starszy inżynier ds. platform danych przejmiesz odpowiedzialność za złożone działania związane z inżynierią platformy w ramach zespołu dostarczania klientów.
Będziesz:

• Tworzenie i utrzymywanie niezawodnych komponentów i usług platformy danych.

• Udział w projektach technicznych i decyzjach wdrożeniowych.

• Opracuj wzorce platform wielokrotnego użytku i łatwe w utrzymaniu.

• Obsługa możliwości pozyskiwania, przetwarzania, przechowywania i integracji danych.

• Identyfikacja zagrożeń platformy związanych z wydajnością, skalowalnością, bezpieczeństwem i niezawodnością.

• Udział w dostrajaniu i optymalizacji wydajności platformy.…

Źródło: Himalaje (https://himalayas.app/companies/aker-systems/jobs/senior-data-platform-engineer)