Старший инженер данных

Краткое описание ролей
Мы ищем старшего инженера по данным для создания и управления платформой данных STACK в Databricks.
Эта должность будет развивать надежные конвейеры данных из систем финансов, доставки, эксплуатации, управления персоналом и PMO, поддерживать высокое качество данных и обеспечивать безопасность, управление и доступность информации для использования в бизнесе.
Успешный кандидат будет тесно сотрудничать с заинтересованными сторонами для улучшения отчетности, решения проблем с данными и поддержки более эффективного принятия решений во всей организации.

Ключевые обязанности:
· Проектируйте, создавайте и обслуживайте конвейеры данных из API, баз данных, приложений SaaS, файлов и электронных таблиц в Databricks.
· Разрабатывать масштабируемые модели данных и архитектуру Delta Lake для отчетности, аналитики и будущих сценариев использования ИИ.
· Управляйте рабочими процессами Databricks, таблицами Lakeflow или Delta Live, хранилищами SQL и соответствующими заданиями по обработке.
· Администрирование рабочих пространств Databricks, каталога Unity, разрешений, субъектов служб.
· Поддержка сред разработки, тестирования и производства, включая развертывание, мониторинг, разрешение инцидентов и восстановление.
· Мониторинг производительности, использования и затрат платформы, а также внедрение соответствующих мер безопасности и оперативного контроля.
· Внедрить проверки качества данных, охватывающие полноту, точность, своевременность, согласованность, наличие дубликатов и сверку с исходными системами.
· Убедитесь, что в информационных панелях используются регулируемые, надежные и хорошо документированные данные.
· Установить права собственности на данные, общие определения, происхождение, политику доступа и стандарты управления с бизнес-функциями.
· Создайте мониторинг и отчетность для выявления сбоев конвейера и проблем с качеством данных.
· Интегрируйте управляемые данные Databricks с Power BI и другими утвержденными аналитическими инструментами.
· Работайте с отделами финансов, доставки, эксплуатации, HR и PMO, чтобы преобразовать требования в устойчивые решения для обработки данных.
· Документировать конвейеры данных, элементы управления, зависимости и рабочие процедуры.
· Координация внешних партнеров, где требуется поддержка специалистов.

Квалификация:
· Значительный опыт работы в качестве инженера по данным, включая владение конвейерами производственных данных.
· Большой практический опыт работы с Databricks, Delta Lake, Python, SQL и PySpark.
· Опыт интеграции данных из API, бизнес-приложений, баз данных и файлов.
· Опыт работы с каталогом Unity, управлением доступом, управлением данными и контролем качества данных.
· Опыт администрирования рабочих пространств Databricks, вычислительных ресурсов и хранилищ SQL.
· Опыт работы со службами данных Azure, Power BI, Git и CI/CD.
· Понимание управления окружающей средой, мониторинга, устранения неполадок и контроля затрат.
· Способность работать напрямую с нетехническими заинтересованными сторонами и четко объяснять проблемы с данными.
· Сильная документация, навыки определения приоритетов и решения проблем.

Сертификаты (желательно)
· Сертифицированный специалист по данным Databricks или сертифицированный администратор платформы Databricks (при наличии).
Найдите работу в Великобритании на Arbeitnow

Источник: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/stack-infrastructure-emea/senior-data-engineer-london-185810).