Старший инженер данных

Штаб-квартира: удаленно

О моркови:

Carrot — это ведущая глобальная платформа по вопросам рождаемости и ухода за семьей, построенная на интеллектуальной организации ухода: правильном клиническом руководстве в нужный момент и в контексте жизни каждого участника. Более тысячи международных работодателей, планов медицинского страхования и систем здравоохранения доверяют Carrot поддержку миллионов участников в 195 странах – от периода до беременности до менопаузы и важных жизненных моментов между ними. Комплексная клиническая программа Carrot обеспечивает лучшую в отрасли экономию средств для спонсоров плана, а также отмеченный наградами опыт и улучшение результатов для миллионов людей во всем мире.

Компания Carrot широко известна как определяющая сила в инновациях в сфере здравоохранения, поскольку она получила несколько наград высшего уровня, в том числе «Самые инновационные компании» Fast Company и «100 стартапов, разрушающих барьеры» CNBC. Ведущие мировые издания, в том числе The Economist, Bloomberg, The Wall Street Journal, NPR, ABC News и Harvard Business Review, регулярно называют компанию ведущим голосом в области цифрового здравоохранения, будущего труда и здоровья семьи. Узнайте больше на get-carrot.com.

Возможность

Кэррот ищет старшего инженера по данным, который будет руководить развитием, надежностью и масштабируемостью нашей современной инфраструктуры данных в области аналитики, отчетности и бизнес-аналитики. На этой должности вы будете проектировать, создавать и поддерживать надежные автоматизированные конвейеры данных, организовывать рабочие процессы, интегрировать различные источники данных и сотрудничать с заинтересованными сторонами в рамках бизнеса для предоставления безопасных, совместимых и высококачественных решений для обработки данных.

Ваша работа будет охватывать полный жизненный цикл данных: от проектирования устойчивых конвейеров ETL/ELT и разработки интеграции данных в режиме реального времени и пакетной обработки до автоматизации отчетности, сокращения технического долга и обеспечения расширенной аналитики. Старшие инженеры по обработке данных в Carrot являются операционными управляющими и техническими наставниками, способствующими улучшению зрелости системы, экономической эффективности, автоматизации и методов совместной работы.

Вы присоединитесь к нашей команде по разработке данных, которая разрабатывает и оптимизирует масштабируемые конвейеры данных и облачную инфраструктуру для обеспечения безопасной, автоматизированной отчетности и аналитики в Carrot. Команда тесно сотрудничает с партнерами по бизнес-аналитике, продуктам, финансам, юридическим и коммерческим вопросам, чтобы обеспечить надежную интеграцию и решения самообслуживания, которые способствуют анализу бизнеса и повышению операционной эффективности.

Что вам будет принадлежать

В этой роли вы будете:

• Проектирование, сборка, тестирование, развертывание и поддержка масштабируемых автоматизированных конвейеров ETL/ELT с использованием Python, dbt и инструментов оркестровки, таких как Prefect и Airflow.

• Администрирование и оптимизация облачных хранилищ данных и озерных платформ, включая Snowflake, AWS (S3, Redshift) и Google Cloud, интеграция новых источников и настройка производительности и затрат.

• Организуйте рабочие процессы обработки данных с помощью настраиваемого планирования, оповещений, управления зависимостями, мониторинга и устранения ошибок.

• Проектировать и поддерживать безопасные внешние потоки данных через SFTP, Files.com и API, уделяя особое внимание надежности и соответствию требованиям.

• Автоматизация ручных отчетов и оперативных задач, создание надежных, повторно используемых компонентов конвейера, которые сокращают эксплуатационные накладные расходы.

• Сотрудничайте с инженерами по серверным продуктам для оптимизации схем производственных баз данных с учетом сценариев использования аналитики.

• Улучшить качество данных, их происхождение, управление и практику документирования в ключевых областях данных.

• Наставляйте коллег по команде и закрепляйте передовой опыт в области контроля версий, проверки кода и структурированного управления рабочими процессами.

Как выглядит успех

В первые 12–18 месяцев у вас будет:

• Полный контроль над основными конвейерами и интеграциями с измеримым повышением надежности, актуальности данных и экономической эффективности.

• Автоматизированные трудоемкие ручные рабочие процессы, снижающие эксплуатационные риски и высвобождающие ресурсы для более дорогостоящих инженерных работ.

• Обеспечена безопасная и совместимая интеграция данных, которой заинтересованные стороны в бизнесе доверяют при принятии решений.

• Повышенная наблюдаемость на всей платформе, включая мониторинг, оповещение и реагирование на инциденты для рабочих процессов с критически важными данными.

• Зарекомендовал себя как технический наставник и надежный партнер для команд бизнес-аналитики, продуктов и кросс-функциональных команд.

О тебе

Вероятно, у вас есть:

• Экспертное знание Snowflake, dbt и Python для моделирования, преобразования данных, разработки конвейеров и расширенной аналитики.

• Продвинутые навыки SQL для выполнения сложных запросов, проектирования крупномасштабных моделей данных и оптимизации баз данных.

• Подтвержденный опыт проектирования, построения, тестирования, развертывания и обслуживания масштабируемых автоматизированных конвейеров ETL/ELT с использованием современных инструментов оркестрации, таких как Prefect и Airflow.

• Практическое администрирование облачных хранилищ данных и озерных платформ, включая Snowflake, AWS (S3, Redshift) и Google Cloud.

• Глубокое понимание безопасных потоков внешних данных через SFTP, Files.com и API с упором на надежность и соответствие требованиям.

• Владение контролем версий (Git, GitHub) и управлением структурированными рабочими процессами (Jira) для проверки кода, журналов аудита и прозрачности операций.

• Продемонстрированная способность автоматизировать и упрощать сложные ручные задачи, создавая надежные, многократно используемые компоненты конвейера.

• Надежность, адаптируемость и совместный подход к проектированию, процветающий в динамичных и неоднозначных средах.

Приятно иметь ⭐

Хотя это и не обязательно, мы будем особенно рады, если вы принесете:

• Практический опыт работы в стартапах или быстрорастущих средах, предоставление технических решений в соответствии с меняющимися приоритетами.

• Опыт поддержки групп бизнес-аналитики, аналитики и обработки данных посредством крупномасштабной интеграции и многопользовательской отчетности.

• Знакомство с парадигмами пакетного и событийно-ориентированного приема, включая конвейеры, работающие практически в реальном времени, построенные на Snowflake, dbt и Python.

• Опыт автоматизации операционных, финансовых или связанных с соблюдением требований рабочих процессов в облачных средах данных…

Источник: Мы работаем удаленно (https://weworkremotely.com/remote-jobs/carrot-sr-data-engineer).