Младший инженер данных

Младший инженер данных
Должность: Младший инженер по обработке данных
Тип работы: Полный рабочий день
Организация работы: удаленная/гибридная/на месте
Уровень опыта: от начального уровня до начала карьеры (0–3 года)
Диапазон заработной платы: 75 000–115 000 долларов США в год.
Места работы: Сиэтл, Вашингтон | Остин, Техас | Даллас, Техас | Нью-Йорк, штат Нью-Йорк | Атланта, Джорджия
Требования к местоположению кандидата: в настоящее время он должен проживать в Соединенных Штатах.
О роли
Мы ищем мотивированного и внимательного к деталям младшего инженера по обработке данных, который присоединится к нашей команде по разработке данных. Идеальный кандидат будет иметь базовое понимание Python, SQL, процессов ETL и Apache Spark, а также будет сильно заинтересован в создании надежных и масштабируемых конвейеров данных.
На этой должности вы будете помогать разрабатывать и поддерживать рабочие процессы приема данных, преобразовывать необработанные данные в полезные наборы данных и поддерживать инициативы по интеграции данных. Вы будете сотрудничать с инженерами по данным, аналитиками данных, учеными по данным и другими техническими командами, чтобы обеспечить точность, доступность и готовность данных для отчетности и анализа.
Эта возможность идеально подходит для недавних выпускников и начинающих специалистов, которые хотят развить свои навыки в области инженерии данных, обработки больших данных и современных платформ данных.
Квалификационные требования: Кандидаты должны в настоящее время проживать в Соединенных Штатах. Удаленная работа доступна только в тех случаях, когда это разрешено требованиями работодателя по трудоустройству и заработной плате.
Ключевые обязанности

• Разрабатывать, тестировать и поддерживать конвейеры данных с использованием Python и SQL.

• Помощь в построении и управлении рабочими процессами ETL (извлечение, преобразование, загрузка).

• Извлечение данных из баз данных, API, файлов и других исходных систем.

• Очистка, преобразование, проверка и загрузка данных в целевые системы.

• Используйте Apache Spark для распределенной обработки данных и крупномасштабного преобразования данных.

• Написание эффективных SQL-запросов для извлечения, объединения, агрегирования наборов данных и управления ими.

• Мониторинг конвейеров данных и устранение сбоев, проблем с производительностью и качеством данных.

• Поддержка разработки процессов пакетной обработки и, где это применимо, потоковой передачи данных.

• Внедрить проверки достоверности данных для обеспечения точности и согласованности данных.

• Сотрудничать с группами аналитиков и бизнес-аналитики для поддержки требований к отчетности и аналитике.

• Документировать логику конвейера, источники данных, преобразования и технические процедуры.

• Следуйте стандартам кодирования, методам контроля версий и рекомендациям по безопасности данных.

• Участвовать в проверках кода, тестировании и инициативах по постоянному улучшению.

Требуемая квалификация

• Степень бакалавра в области компьютерных наук, информационных технологий, обработки данных, разработки программного обеспечения или смежных областях или эквивалентный практический опыт.

• Опыт работы от 0 до 3 лет в области обработки данных, разработки программного обеспечения, анализа данных или смежных технических областях.

• Практическое знание Python для написания сценариев, обработки данных и автоматизации.

• Знание SQL, включая соединения, агрегации, подзапросы и манипулирование данными.

• Понимание концепций ETL/ELT и разработки конвейеров данных.

• Базовое знание Apache Spark и распределенной обработки данных.

• Знание реляционных баз данных и основ моделирования данных.

• Понимание методов очистки, проверки и преобразования данных.

• Знакомство с Git или другими инструментами контроля версий.

• Сильное аналитическое мышление, навыки решения проблем и отладки.

• Хорошие письменные и устные коммуникативные навыки.

• В настоящее время должен проживать в Соединенных Штатах.

Предпочтительные квалификации

• Использование PySpark для крупномасштабного преобразования данных.

• Знакомство с облачными платформами, такими как AWS, Microsoft Azure или Google Cloud Platform.

• Базовые знания хранилищ данных, таких как Snowflake, Amazon Redshift или Google BigQuery.

• Понимание архитектуры озер данных и озерных домов.

• Знакомство с инструментами оркестрации рабочих процессов, такими как Apache Airflow.

• Использование Docker, CI/CD или автоматического тестирования.

• Понимание пакетной обработки, дополнительных нагрузок и планирования конвейера данных.

• Знакомство с многомерным моделированием и проектированием хранилищ данных.

• Академические проекты, стажировки или личные проекты, связанные с конвейерами данных или технологиями больших данных.

Технические навыки
Категория навыковТребуемые/предпочтительные навыкиПрограммированиеPythonЗапросы к базам данныхSQLИнтеграция данныхКонвейеры ETL/ELTОбработка больших данныхApache Spark, базовый PySparkБазы данныхКонцепции реляционных баз данныхКонтроль версийGit, GitHub или GitLabОблачные платформыAWS, Azure или Google Cloud — предпочтительноХранилище данныхSnowflake, Redshift или BigQuery — предпочтительноОркестрация рабочих процессовApache Airflow — желательно. Основные компетенции: Отладка, качество данных, решение проблем.
Заработная плата и льготы

• Годовая базовая зарплата: 75 000–115 000 долларов США.

• Полная занятость.

• Удаленная, гибридная работа или работа на месте, в зависимости от должности.

• Потенциальные льготы могут включать медицинскую страховку, пенсионные планы, оплачиваемый отпуск и возможности профессионального развития, в зависимости от работодателя.

• Возможности для развития навыков в области разработки облачных данных, распределенных вычислений и масштабируемой архитектуры данных.

Диапазон заработной платы является ориентировочным и не является проверенным предложением. Фактическая компенсация может варьироваться в зависимости от работодателя, опыта, местоположения и должностных требований.
Места работы
Возможности могут быть доступны на следующих рынках США:

• Сиэтл, Вашингтон

• Остин, Техас
• Даллас, Техас

• Нью-Йорк, Нью-Йорк

• Атланта, Джорджия

Требования к удаленной работе

• Кандидаты должны в настоящее время проживать в Соединенных Штатах.

• Кандидаты должны иметь право на работу в Соединенных Штатах в соответствии с применимыми требованиями работодателя к приему на работу.

• Удаленная занятость зависит от требований к заработной плате, установленных в штате, и политики компании.

• Некоторые должности могут требовать периодического присутствия в офисе или сотрудничества в рабочее время в США.…

Источник: Гималаи (https://himalayas.app/companies/edgeq-technologies-private-limited/jobs/junior-data-engineer?utm_source=api).