Старший інженер з даних

Резюме ролі
Ми шукаємо старшого інженера з даних для створення та керування платформою даних STACK у Databricks.
Ця посада буде розробляти надійні канали даних із систем фінансів, доставки, операцій, кадрів і PMO, підтримувати високу якість даних і гарантувати, що інформація є безпечною, керованою та доступною для використання в бізнесі.
Успішний кандидат тісно співпрацюватиме із зацікавленими сторонами, щоб покращити звітність, вирішити проблеми з даними та сприяти прийняттю кращих рішень у всій організації.

Основні обов'язки:
· Проектувати, створювати та підтримувати конвеєри даних з API, баз даних, програм SaaS, файлів і електронних таблиць у Databricks.
· Розробка масштабованих моделей даних і архітектури Delta Lake для звітності, аналітики та майбутніх випадків використання ШІ.
· Керуйте робочими процесами Databricks, таблицями Lakeflow або Delta Live, сховищами SQL і відповідними завданнями обробки.
· Адмініструвати робочі області Databricks, каталог Unity, дозволи, принципали служб.
· Підтримка середовищ розробки, тестування та виробництва, включаючи розгортання, моніторинг, вирішення інцидентів і відновлення.
· Відстежуйте продуктивність платформи, її використання та витрати, а також запроваджуйте відповідні заходи безпеки та операційного контролю.
· Впровадити перевірки якості даних, що охоплюють повноту, точність, своєчасність, узгодженість, дублікати та узгодження з вихідними системами.
· Переконайтеся, що інформаційні панелі використовують контрольовані, надійні та добре задокументовані дані.
· Встановіть право власності на дані, загальні визначення, походження, політики доступу та стандарти управління з бізнес-функціями.
· Створення моніторингу та звітності для виявлення збоїв конвеєра та проблем із якістю даних.
· Інтеграція керованих даних Databricks із Power BI та іншими затвердженими аналітичними інструментами.
· Працювати з фінансами, доставкою, операціями, кадрами та PMO, щоб перетворити вимоги на стійкі рішення для обробки даних.
· Задокументуйте канали даних, елементи керування, залежності та робочі процедури.
· Координація зовнішніх партнерів, де потрібна підтримка фахівців.

кваліфікація:
· Значний досвід інженера з обробки даних, включаючи володіння конвеєрами виробничих даних.
· Великий практичний досвід роботи з Databricks, Delta Lake, Python, SQL і PySpark.
· Досвід інтеграції даних з API, бізнес-додатків, баз даних і файлів.
· Досвід роботи з каталогом Unity, керування доступом, управління даними та контролю якості даних.
· Досвід адміністрування робочих просторів Databricks, обчислювальних ресурсів і сховищ SQL.
· Досвід роботи зі службами даних Azure, Power BI, Git і практиками CI/CD.
· Розуміння управління навколишнім середовищем, моніторингу, усунення несправностей і контролю витрат.
· Здатність працювати безпосередньо з нетехнічними зацікавленими сторонами та чітко пояснювати проблеми з даними.
· Сильні навички документування, визначення пріоритетів і вирішення проблем.

Сертифікати (бажано)
· Професіонал Databricks Certified Data Engineer або Databricks Certified Platform Administrator (за наявності).
Знайдіть роботу у Великій Британії на Arbeitnow

Джерело: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/stack-infrastructure-emea/senior-data-engineer-london-185810)