Старший інженер даних Databricks

Резюме ролі
Ми шукаємо старшого інженера даних Databricks із перевіреним практичним досвідом роботи з Databricks для створення, розробки та керування корпоративною платформою даних STACK. Це інженерна роль, орієнтована на виробництво, яка вимагає практичних знань у Databricks, PySpark, Python, SQL і Delta Lake.
Ця посада розроблятиме надійні канали, що об’єднуватимуть системи фінансів, доставки, операцій, кадрів і PMO, створюватиме керовані та високоякісні набори даних і підтримуватиме безпечну масштабовану аналітику та звітність. Працюючи з технічними та бізнес-стейкхолдерами, успішний кандидат візьме на себе відповідальність за рішення з обробки даних і допоможе підвищити надійність і продуктивність платформи.

Основні обов'язки:
· Проектування, розробка, розгортання та підтримка робочих конвеєрів ETL/ELT за допомогою Databricks, PySpark, Python і SQL, інтегруючи API, бази даних, програми SaaS, файли та електронні таблиці.
· Розробляйте та оптимізуйте масштабовані моделі даних Delta Lake і архітектуру lakehouse для звітності, аналітики та майбутніх випадків використання ШІ.
· Створюйте, плануйте, відстежуйте та усувайте завдання обробки даних за допомогою Databricks Workflows, Lakeflow або Delta Live Tables, залежно від обставин.
· Застосовуйте керування каталогом Unity, включаючи дозволи на доступ, право власності на дані, походження та загальні визначення даних.
· Підтримка робочих просторів Databricks, обчислювальних ресурсів, сховищ SQL, принципалів служб і керування доступом у партнерстві з відповідними технологічними групами.
· Керуйте розробкою, тестуванням і виробничим розгортанням, моніторингом, вирішенням інцидентів і відновленням, використовуючи методи Git і CI/CD.
· Оптимізуйте продуктивність конвеєра, обробку Spark, використання обчислювальної техніки та витрати на платформу, зберігаючи відповідні засоби безпеки та операційного контролю.
· Впровадити перевірку якості даних на повноту, точність, своєчасність, послідовність, дублікати та узгодження з вихідними системами.
· Створення моніторингу та попередження для виявлення збоїв у конвеєрі, проблем із якістю даних та операційних ризиків.
· Інтегруйте надійні керовані набори даних Databricks із Power BI та іншими затвердженими аналітичними інструментами.
· Працюйте з фінансами, доставкою, операціями, кадрами та командами PMO, щоб перетворити вимоги на стійкі рішення для обробки даних.
· Задокументуйте конвеєри, залежності, елементи керування та робочі процедури та за потреби координуйте зовнішніх партнерів-спеціалістів.

кваліфікація:
· Сильний практичний досвід створення та підтримки конвеєрів виробничих даних безпосередньо в Databricks; лише досвіду роботи з іншими хмарними платформами даних недостатньо.
· Практичний досвід роботи з PySpark, Python, SQL і Delta Lake, включаючи перетворення даних і оптимізацію продуктивності.
· Досвід оркестрування та усунення несправностей конвеєрів даних Databricks за допомогою робочих процесів, Delta Live Tables або Lakeflow.
· Практичні знання каталогу Unity, управління даними, контролю доступу та практики якості даних (необхідно).
· Досвід інтеграції даних з API, бізнес-додатків, баз даних і файлів.
· Досвід підтримки робочих просторів Databricks, обчислювальних ресурсів або сховищ SQL у виробничому середовищі.
· Досвід роботи зі службами даних Azure, Power BI, Git і практиками CI/CD.
· Розуміння управління середовищем, моніторингу, усунення несправностей, безпеки та контролю витрат.
· Здатність працювати з нетехнічними зацікавленими сторонами, чітко пояснювати проблеми з даними та ефективно документувати рішення.
· Сильна власність, навички визначення пріоритетів і вирішення проблем.

Сертифікати (бажано)
· Професіонал Databricks Certified Data Engineer або Databricks Certified Platform Administrator (за наявності).
Знайдіть більше англомовних вакансій у Великобританії на Arbeitnow

Джерело: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/stack-infrastructure-emea/senior-databricks-data-engineer-london-455331)