Інженер даних – інтеграція з хмарою та SaaS

Розташування
Наш інженер з даних стане невід’ємною частиною нашої команди досліджень і розробок. Ця посада працює дистанційно як штатний працівник у Великій Британії, Ірландії, Естонії, Нідерландах, Швеції та Ізраїлі. Ми також відкриті для підрядників у Східній Європі та Португалії.

Хто ми
DoiT — це глобальна технологічна компанія, яка працює з хмарними організаціями, щоб використовувати хмару для стимулювання зростання бізнесу та інновацій. Ми поєднуємо дані, технології та людський досвід, щоб забезпечити роботу наших клієнтів у добре архітектурному та масштабованому стані – від планування до виробництва.

Пропонуючи DoiT Cloud Intelligence, єдине рішення, яке поєднує передові технології з людським інтелектом, ми допомагаємо нашим клієнтам вирішувати складні мультихмарні проблеми та підвищувати ефективність.

Маючи десятиліття багатохмарного досвіду, ми спеціалізуємося на Kubernetes, GenAI, CloudOps тощо. Будучи відзначеним нагородами стратегічним партнером AWS, Google Cloud і Microsoft Azure, ми працюємо з понад 4000 клієнтами по всьому світу.

Можливість
Хмарні витрати – це вже не лише AWS, Google Cloud і Azure. Наші клієнти тепер витрачають велику й зростаючу частку своїх витрат на технології через платформи SaaS, хмари даних і постачальників штучного інтелекту – кожен із власним API для виставлення рахунків, власною моделлю ціноутворення та власним уявленням про те, що означає «позиція». Інтеграційна структура DoiT перетворює це на єдину надійну картину вартості.

Ми наймаємо інженера з обробки даних, який займатиметься цим. Ваше завдання полягає в тому, щоб розширити видимість – збільшити витрати клієнтів на платформу від більшої кількості постачальників у якісному барі, де люди можуть приймати фінансові рішення. Ландшафт постачальників постійно змінюється, тому це справжнє, постійне володіння з короткою лінією від вашої роботи до того, що бачать клієнти.

З першого дня ви працюватимете з доповненням ШІ. Ми очікуємо, що ви будете використовувати штучний інтелект у всьому робочому процесі, а не як випадкове автозаповнення, і матимете реальну думку про те, де він заслуговує на своє місце.

Обов'язки

• Розширення охоплення постачальників. Це суть ролі. Створюйте нові інтеграції зі сторонніми API для виставлення рахунків і використання, щоб збільшити витрати наших клієнтів на платформі. Підтримуйте наявні інтеграції в актуальному стані, оскільки постачальники змінюють свої API та моделі ціноутворення, що вони постійно роблять. Знизьте граничні витрати на наступну інтеграцію, щоб охоплення збільшувалося швидше.

• Робота з доповненням ШІ. Використовуйте штучний інтелект щодня на всьому етапі своєї роботи – досліджуйте незнайомі кодові бази та API сторонніх розробників, створюйте прототипи, створюйте та переглядайте код, налагоджуйте, пишіть тести та створюйте документацію. Проаналізуйте, що інструменти можуть зробити для цієї кодової бази, і винесіть судження про те, де штучний інтелект підвищує швидкість, а де людина все ще має тримати планку якості.

• Правильність і повнота даних. Отримайте якість даних, які виробляє наша інтеграція: дублювання, прогалини та умови змагання під час прийому та повторної обробки, дедуплікація витрат, які також надходять через хмарні ринки, і підтримка узгоджених ставок клієнтів, а не загальнодоступних цін. Створіть перевірки та звірки, які дозволять нам довести, що цифри правильні, а не сподіватися, що вони правдиві.

• Нормалізація між постачальниками. Розробляйте та створюйте моделі, які роблять десятки різних за формою рахунків постачальників порівнянними – узгоджені одиниці, валюти, деталізація часу, таксономія ресурсів і послуг, а також категорії витрат.

• Право власності на трубопровід. Володійте оркестровкою, плануванням і механікою засипки для наскрізних конвеєрів прийому, включаючи перетворення засипки на звичайну, безпечну операцію самообслуговування.

• Співпраця та вирішення проблем. Співпрацюйте з продуктом, підтримкою та інженерами, які створюють ці дані, щоб зрозуміти, де є прогалини. Запропонуйте роботу, яка, на вашу думку, має бути виконана; ви тут не для того, щоб чекати специфікації.

кваліфікація

• Понад 3 роки професійного досвіду в розробці даних або на посаді серверної частини з великим об’ємом даних із володінням виробництвом конвеєрів, від яких залежать інші люди

• Надійний SQL - ви можете писати, читати та міркувати про продуктивність нетривіальних аналітичних запитів

• Практичний досвід побудови та експлуатації конвеєрів даних за допомогою структури оркестровки. Dagster або Airflow дуже бажані; еквівалентний досвід роботи з Prefect, dbt або подібним інструментом актуальний, якщо ви готові працювати в Dagster/Airflow

• Надійний Python або інша мова, якою ви вільно користуєтеся для роботи з даними

• Досвід роботи з хмарним сховищем даних або аналітичним магазином (BigQuery, ClickHouse, Snowflake, Redshift або подібні)

• Досвід інтеграції сторонніх REST API, включаючи обробку реальних умов: розбивка на сторінки, обмеження швидкості, часткові збої, пізнє надходження та перераховані дані та постачальники, чия документація неправильна

• Справжній інстинкт правильності даних. Ви той тип інженера, який звіряє підсумки, ставить під сумнів число, яке виглядає правдоподібним, і будує твердження, а не припускає

• Доповнений штучним інтелектом стиль роботи — ви вже використовуєте інструменти штучного інтелекту у своєму робочому процесі проектування та можете говорити конкретно про те, що ви отримали від них

• Досвід розробки рішень у хмарі та/або використання хмарних сервісів

• Чудові навички спілкування англійською мовою, як письмово, так і усно

• Самоорганізований, цілеспрямований і самомотивований; впевнений, грунтовний і наполегливий

Бонусні бали

• Досвід роботи з даними виставлення рахунків у хмарі або SaaS – експорт витрат і використання AWS/GCP/Azure, виставлення рахунків на ринковому майданчику або специфікація FOCUS

• Знайомство з Go , який ми використовуємо в наших серверних службах

• Досвід роботи з системами, які відповідають вимогам до фінансової чи аудиторської коректності – виставлення рахунків, вимірювання, узгодження доходів або механізми виставлення рахунків

• Вплив практик FinOps або хмарних продуктів управління фінансами

• Ступінь BA/BS або еквівалентний практичний досвід

Ви виконавець?
Будь справжнім собою. Працюйте на своїх умовах. Зробіть різницю.…

Джерело: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/senior-full-stack-engineer-ai-cost-visibility-greenhouse/data-engineer-cloud-saas-integrations-140820)