Старший инженер по данным Databricks

Краткое описание ролей
Мы ищем старшего инженера по данным Databricks с подтвержденным практическим опытом работы с Databricks для создания, разработки и управления корпоративной платформой данных STACK. Это инженерно-техническая должность, ориентированная на производство, требующая практических знаний в Databricks, PySpark, Python, SQL и Delta Lake.
Эта должность будет проектировать надежные конвейеры, интегрирующие системы финансов, доставки, эксплуатации, управления персоналом и PMO, создавать управляемые и высококачественные наборы данных, а также поддерживать безопасную, масштабируемую аналитику и отчетность. Работая с техническими и деловыми заинтересованными сторонами, успешный кандидат возьмет на себя ответственность за решения для обработки данных и поможет повысить надежность и производительность платформы.

Ключевые обязанности:
· Проектируйте, разрабатывайте, развертывайте и обслуживайте конвейеры ETL/ELT промышленного уровня с использованием Databricks, PySpark, Python и SQL, интегрируя API, базы данных, приложения SaaS, файлы и электронные таблицы.
· Разрабатывать и оптимизировать масштабируемые модели данных Delta Lake и архитектуру Lakehouse для отчетности, аналитики и будущих сценариев использования ИИ.
· Создавайте, планируйте, отслеживайте и устраняйте неполадки заданий по обработке данных, используя рабочие процессы Databricks, Lakeflow или Delta Live Tables, в зависимости от ситуации.
· Применяйте управление каталогом Unity, включая разрешения на доступ, владение данными, происхождение и определения общих данных.
· Поддержка рабочих пространств Databricks, вычислительных ресурсов, хранилищ SQL, субъектов служб и управления доступом в партнерстве с соответствующими технологическими группами.
· Управляйте разработкой, тестированием и производственным развертыванием, мониторингом, разрешением инцидентов и восстановлением с использованием методов Git и CI/CD.
· Оптимизировать производительность конвейера, обработку Spark, использование вычислительных ресурсов и затраты на платформу, сохраняя при этом соответствующую безопасность и операционный контроль.
· Внедрить проверки качества данных на полноту, точность, своевременность, согласованность, наличие дубликатов и сверку с исходными системами.
· Обеспечьте мониторинг и оповещения для выявления сбоев конвейера, проблем с качеством данных и операционных рисков.
· Интегрируйте надежные управляемые наборы данных Databricks с Power BI и другими утвержденными аналитическими инструментами.
· Работайте с отделами финансов, доставки, эксплуатации, HR и PMO, чтобы преобразовать требования в устойчивые решения для обработки данных.
· Документируйте конвейеры, зависимости, элементы управления и рабочие процедуры, а также координируйте работу внешних партнеров, когда это необходимо.

Квалификация:
· Большой практический опыт создания и поддержки конвейеров производственных данных непосредственно в Databricks; опыта работы с другими платформами облачных данных недостаточно.
· Практический опыт работы с PySpark, Python, SQL и Delta Lake, включая преобразование данных и оптимизацию производительности.
· Опыт организации и устранения неполадок конвейеров данных Databricks с использованием рабочих процессов, Delta Live Tables или Lakeflow.
· Практическое знание каталога Unity, управления данными, контроля доступа и методов обеспечения качества данных (обязательно).
· Опыт интеграции данных из API, бизнес-приложений, баз данных и файлов.
· Опыт поддержки рабочих пространств Databricks, вычислительных ресурсов или хранилищ SQL в производственной среде.
· Опыт работы со службами данных Azure, практиками Power BI, Git и CI/CD.
· Понимание управления средой, мониторинга, устранения неполадок, безопасности и контроля затрат.
· Способность работать с нетехническими заинтересованными сторонами, четко объяснять проблемы с данными и эффективно документировать решения.
· Сильная ответственность, умение расставлять приоритеты и решать проблемы.

Сертификаты (желательно)
· Сертифицированный специалист по данным Databricks или сертифицированный администратор платформы Databricks (при наличии).
Найдите больше англоговорящих вакансий в Великобритании на Arbeitnow

Источник: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/stack-infrastructure-emea/senior-databricks-data-engineer-london-455331).