Молодший інженер з даних

Молодший інженер з даних
Посада: молодший інженер з даних
Тип роботи: повна зайнятість
Організація роботи: віддалена / гібридна / на місці
Рівень досвіду: початковий рівень для початку кар'єри (0–3 роки)
Діапазон зарплати: $75 000–$115 000 на рік
Місця роботи: Сіетл, Вашингтон | Остін, Техас | Даллас, Техас | Нью-Йорк, Нью-Йорк | Атланта, Джорджія
Вимоги щодо місцезнаходження кандидата: наразі він повинен проживати в Сполучених Штатах.
Про роль
Ми шукаємо вмотивованого молодшого інженера з обробки даних, орієнтованого на деталі, щоб приєднатися до нашої команди з розробки даних. Ідеальний кандидат матиме фундаментальне розуміння Python, SQL, процесів ETL і Apache Spark, а також буде зацікавлений у створенні надійних, масштабованих каналів даних.
На цій посаді ви допомагатимете розробляти та підтримувати робочі процеси надходження даних, перетворювати необроблені дані в придатні набори даних і підтримувати ініціативи з інтеграції даних. Ви співпрацюватимете з інженерами з обробки даних, аналітиками даних, спеціалістами з обробки даних та іншими технічними командами, щоб забезпечити точність, доступність і готовність даних для звітів і аналітики.
Ця можливість ідеально підходить для нещодавніх випускників і професіоналів, які починають кар’єру, які хочуть розвивати свої навички в інженерії даних, обробці великих даних і сучасних платформах даних.
Вимоги відповідності: Кандидати повинні наразі проживати в Сполучених Штатах. Дистанційна робота доступна лише там, де це дозволено вимогами роботодавця щодо працевлаштування та оплати праці.
Основні обов'язки

• Розробка, тестування та підтримка конвеєрів даних за допомогою Python і SQL.

• Допомога у створенні та управлінні робочими процесами ETL (Extract, Transform, Load).

• Витягувати дані з баз даних, API, файлів та інших вихідних систем.

• Очищення, трансформація, перевірка та завантаження даних у цільові системи.

• Використовуйте Apache Spark для розподіленої обробки даних і великомасштабних перетворень даних.

• Пишіть ефективні запити SQL для отримання, об’єднання, агрегування та маніпулювання наборами даних.

• Відстежуйте конвеєри даних і усувайте несправності, проблеми з продуктивністю та якість даних.

• Підтримка розробки пакетної обробки та, де це можливо, потокових потоків даних.

• Впроваджуйте перевірки перевірки даних, щоб підтримувати точність і послідовність даних.

• Співпрацюйте з групами аналітики та бізнес-аналітики для підтримки звітності та аналітичних вимог.

• Документуйте логіку конвеєра, джерела даних, перетворення та технічні процедури.

• Дотримуйтеся стандартів кодування, практик контролю версій і вказівок щодо безпеки даних.

• Беріть участь у перевірках коду, тестуванні та ініціативах щодо постійного вдосконалення.

Необхідна кваліфікація

• Ступінь бакалавра в галузі комп’ютерних наук, інформаційних технологій, інженерії даних, інженерії програмного забезпечення або суміжної галузі або еквівалентний практичний досвід.

• 0–3 роки досвіду в інженерії даних, розробці програмного забезпечення, аналітиці даних або у відповідній технічній галузі.

• Практичні знання Python для створення сценаріїв, обробки даних і автоматизації.

• Володіння SQL, включаючи об’єднання, агрегації, підзапити та маніпуляції даними.

• Розуміння концепцій ETL/ELT і розробки конвеєрів даних.

• Базове знайомство з Apache Spark і розподіленою обробкою даних.

• Знання реляційних баз даних і основ моделювання даних.

• Розуміння методів очищення, перевірки та перетворення даних.

• Знайомство з Git або іншими інструментами контролю версій.

• Сильне аналітичне мислення, навички вирішення проблем і налагодження помилок.

• Гарні навички письмового та усного спілкування.

• Наразі має проживати в Сполучених Штатах.

Бажані кваліфікації

• Використання PySpark для масштабних перетворень даних.

• Знайомство з хмарними платформами, такими як AWS, Microsoft Azure або Google Cloud Platform.

• Базові знання сховищ даних, таких як Snowflake, Amazon Redshift або Google BigQuery.

• Розуміння архітектур озер даних і озерних будинків.

• Знайомство з інструментами оркестровки робочого процесу, такими як Apache Airflow.

• Вплив Docker, CI/CD або автоматизованого тестування.

• Розуміння пакетної обробки, додаткових завантажень і планування конвеєрів даних.

• Знайомство з просторовим моделюванням і проектуванням сховищ даних.

• Академічні проекти, стажування або особисті проекти з використанням конвеєрів даних або технологій великих даних.

Технічні навички
Категорія навичок. Необхідні/бажані навички. Програмування. Python. Запити до бази даних. SQL. Інтеграція даних. Конвеєри ETL/ELT. Обробка великих даних. Apache Spark, базові бази даних. Redshift або BigQuery — бажано Оркестрація робочого процесу Apache Airflow — бажано Основні компетенції Налагодження, якість даних, вирішення проблем
Зарплата та пільги

• Річна базова зарплата: $75 000–$115 000 USD.

• Повна зайнятість.

• Дистанційна, гібридна або робота на місці, залежно від посади.

• Потенційні переваги можуть включати медичне страхування, пенсійні плани, оплачувану відпустку та можливості професійного розвитку, залежно від роботодавця.

• Можливості для розвитку навичок інженерії хмарних даних, розподілених обчислень і масштабованої архітектури даних.

Діапазон зарплат орієнтовний і не перевірена пропозиція. Фактична компенсація може відрізнятися залежно від роботодавця, досвіду, місця розташування та вимог до ролі.
Місця роботи
Можливості можуть бути доступні на таких ринках США:

• Сіетл, Вашингтон

• Остін, Техас
• Даллас, Техас

• Нью-Йорк, Нью-Йорк

• Атланта, штат Джорджія

Вимоги до віддаленої роботи

• Кандидати повинні наразі проживати в Сполучених Штатах.

• Кандидати повинні мати право працювати в Сполучених Штатах відповідно до застосовних вимог роботодавця щодо найму.

• Дистанційне працевлаштування регулюється вимогами штату щодо оплати праці та правилами компанії.

• Деякі посади можуть вимагати час від часу відвідування офісу або співпраці в робочі години США.…

Джерело: Himalayas (https://himalayas.app/companies/edgeq-technologies-private-limited/jobs/junior-data-engineer?utm_source=api)