Инженер распределенных систем – платформа данных

Команда платформы данных Netflix создает высокомасштабируемую платформу данных, которая позволяет организации хранить, обрабатывать и принимать решения с использованием данных. Команда владеет инфраструктурой и сервисами, обеспечивающими прием, хранение, обработку и анализ данных в Netflix, а также предоставляет высококачественные, надежные и проверенные данные инженерным командам, специалистам по данным и заинтересованным сторонам бизнеса.

Что ты будешь делать

• Проектируйте, создавайте и эксплуатируйте масштабируемые высокопроизводительные распределенные системы для приема, хранения, обработки и анализа данных.

• Создавайте и обслуживайте сервисы и конвейеры, которые надежно и эффективно перемещают большие объемы данных между системами Netflix.

• Решать сложные проблемы, связанные с согласованностью данных, отказоустойчивостью, масштабируемостью и производительностью.

• Повысить надежность, наблюдаемость и работоспособность сервисов платформы данных, используемых в компании.

• Сотрудничайте с инженерами, специалистами по обработке данных и группами разработчиков продуктов для предоставления решений по работе с данными, которые поддерживают критически важные бизнес-решения.

• Вносить вклад в долгосрочную архитектуру и техническое руководство платформой данных.

Что мы ищем

• Большой опыт проектирования и создания распределенных систем и приложений с интенсивным использованием данных.

• Глубокое понимание концепций распределенных систем, включая согласованность, секционирование, репликацию и отказоустойчивость.

• Опыт работы с крупномасштабными технологиями обработки и потоковой передачи данных.

• Знание Java или Scala, а также опыт работы с такими системами, как Apache Flink, Kafka, Spark или Iceberg.

• Опыт эксплуатации производственных систем в масштабе и отладки сложных проблем распределенных систем.

• Опыт разработки высококачественного и надежного программного обеспечения в среде совместной разработки.

Приятно иметь

• Опыт работы с облачной инфраструктурой и контейнерными системами.

• Опыт работы с архитектурами озер данных и форматами открытых таблиц.

• Опыт повышения производительности и экономической эффективности крупномасштабных рабочих нагрузок с данными.

Преимущества

Netflix предоставляет комплексные льготы, включая планы медицинского страхования, поддержку психического здоровья, пенсионный план 401 (k), включая подбор работодателя, опционы на акции и гибкую политику отпуска.

Источник: Jobspresso (https://jobspresso.co/job/distributed-systems-engineer-data-platform/).