Młodszy Inżynier Danych

Młodszy Inżynier Danych
Stanowisko: Młodszy Inżynier Danych
Rodzaj pracy: Pełny etat
Organizacja pracy: Zdalna / Hybrydowa / Na miejscu
Poziom doświadczenia: Poziom podstawowy do wczesnej kariery (0–3 lata)
Zakres wynagrodzeń: 75 000–115 000 USD rocznie
Miejsca pracy: Seattle, WA | Austin, Teksas | Dallas, Teksas | Nowy Jork, Nowy Jork | Atlanta, Georgia
Wymagania dotyczące lokalizacji kandydata: musi obecnie mieszkać w Stanach Zjednoczonych.
O roli
Poszukujemy zmotywowanego i zorientowanego na szczegóły młodszego inżyniera danych, który dołączy do naszego zespołu inżynierii danych. Idealny kandydat będzie posiadać podstawową wiedzę na temat Pythona, SQL, procesów ETL i Apache Spark, a także będzie bardzo zainteresowany budowaniem niezawodnych, skalowalnych potoków danych.
Na tym stanowisku będziesz pomagać w opracowywaniu i utrzymywaniu przepływów pracy związanych z pozyskiwaniem danych, przekształcaniu surowych danych w użyteczne zbiory danych oraz wspieraniu inicjatyw w zakresie integracji danych. Będziesz współpracować z inżynierami danych, analitykami danych, analitykami danych i innymi zespołami technicznymi, aby zapewnić, że dane są dokładne, dostępne i gotowe do raportowania i analiz.
Ta szansa jest idealna dla absolwentów i specjalistów na początku kariery, którzy chcą rozwijać swoje umiejętności w zakresie inżynierii danych, przetwarzania dużych zbiorów danych i nowoczesnych platform danych.
Wymagania kwalifikacyjne: Kandydaci muszą obecnie mieszkać w Stanach Zjednoczonych. Praca zdalna jest dostępna tylko wtedy, gdy pozwalają na to wymogi pracodawcy dotyczące zatrudnienia i płac.
Kluczowe obowiązki

• Twórz, testuj i konserwuj potoki danych przy użyciu Pythona i SQL.

• Pomoc w budowaniu i zarządzaniu przepływami pracy ETL (wyodrębnianie, przekształcanie, ładowanie).

• Wyodrębniaj dane z baz danych, interfejsów API, plików i innych systemów źródłowych.

• Czyść, przekształcaj, sprawdzaj poprawność i ładuj dane do systemów docelowych.

• Używaj Apache Spark do rozproszonego przetwarzania danych i transformacji danych na dużą skalę.

• Twórz wydajne zapytania SQL w celu pobierania, łączenia, agregowania i manipulowania zbiorami danych.

• Monitoruj potoki danych i rozwiązuj problemy z awariami, wydajnością i jakością danych.

• Wspieranie rozwoju procesów przetwarzania wsadowego i, w stosownych przypadkach, przesyłania strumieniowego danych.

• Wdrażaj kontrole walidacji danych, aby zachować dokładność i spójność danych.

• Współpraca z zespołami analityki i analityki biznesowej w celu wspierania raportowania i wymagań analitycznych.

• Dokumentuj logikę rurociągu, źródła danych, transformacje i procedury techniczne.

• Przestrzegaj standardów kodowania, praktyk kontroli wersji i wytycznych dotyczących bezpieczeństwa danych.

• Uczestnictwo w przeglądach kodu, testowaniu i inicjatywach ciągłego doskonalenia.

Wymagane kwalifikacje

• Licencjat z informatyki, technologii informatycznych, inżynierii danych, inżynierii oprogramowania lub pokrewnej dziedziny lub równoważne doświadczenie praktyczne.

• 0–3 lata doświadczenia w inżynierii danych, tworzeniu oprogramowania, analizie danych lub pokrewnej dziedzinie technicznej.

• Praktyczna znajomość języka Python w zakresie tworzenia skryptów, przetwarzania danych i automatyzacji.

• Biegłość w języku SQL, w tym złączenia, agregacje, podzapytania i manipulowanie danymi.

• Zrozumienie koncepcji ETL/ELT i rozwoju potoku danych.

• Podstawowa znajomość Apache Spark i rozproszonego przetwarzania danych.

• Znajomość relacyjnych baz danych i podstaw modelowania danych.

• Zrozumienie technik czyszczenia, sprawdzania poprawności i transformacji danych.

• Znajomość Git lub innych narzędzi kontroli wersji.

• Silne umiejętności analitycznego myślenia, rozwiązywania problemów i debugowania.

• Dobre umiejętności komunikacji pisemnej i werbalnej.

• Musi obecnie mieszkać w Stanach Zjednoczonych.

Preferowane kwalifikacje

• Dostęp do PySpark w celu transformacji danych na dużą skalę.

• Znajomość platform chmurowych, takich jak AWS, Microsoft Azure lub Google Cloud Platform.

• Podstawowa znajomość hurtowni danych typu Snowflake, Amazon Redshift, czy Google BigQuery.

• Zrozumienie architektury jezior danych i Lakehouse.

• Znajomość narzędzi do orkiestracji przepływu pracy, takich jak Apache Airflow.

• Znajomość Dockera, CI/CD lub testów automatycznych.

• Zrozumienie przetwarzania wsadowego, obciążeń przyrostowych i planowania potoku danych.

• Znajomość modelowania wymiarowego i projektowania hurtowni danych.

• Projekty akademickie, staże lub projekty osobiste obejmujące potoki danych lub technologie dużych zbiorów danych.

Umiejętności techniczne
Kategoria umiejętnościWymagane/preferowane umiejętnościProgramowaniePythonZapytania o bazy danychSQLIntegracja danychPotoki ETL/ELTPrzetwarzanie Big DataApache Spark, podstawowe PySparkBazy danychKoncepcje relacyjnych baz danychKontrola wersjiGit, GitHub lub GitLabPlatformy chmurowe AWS, Azure lub Google Cloud — preferowaneData WarehousingSnowflake, Redshift lub BigQuery — preferowane Orkiestracja przepływu pracyApache Airflow — preferowanePodstawowe kompetencjeDebugowanie, jakość danych, rozwiązywanie problemów
Wynagrodzenie i świadczenia

• Roczne wynagrodzenie podstawowe: 75 000–115 000 USD.

• Zatrudnienie na pełen etat.

• Praca zdalna, hybrydowa lub na miejscu, w zależności od stanowiska.

• Potencjalne świadczenia mogą obejmować ubezpieczenie zdrowotne, plany emerytalne, płatny urlop i możliwości rozwoju zawodowego, w zależności od pracodawcy.

• Możliwości rozwijania umiejętności w zakresie inżynierii danych w chmurze, przetwarzania rozproszonego i skalowalnej architektury danych.

Podany zakres wynagrodzeń ma charakter orientacyjny i nie jest zweryfikowaną ofertą. Rzeczywiste wynagrodzenie może się różnić w zależności od pracodawcy, doświadczenia, lokalizacji i wymagań dotyczących stanowiska.
Lokalizacje pracy
Możliwości mogą być dostępne na następujących rynkach w USA:

• Seattle, Waszyngton

• Austin w Teksasie
• Dallas w Teksasie

• Nowy Jork, Nowy Jork

• Atlanta, Georgia

Wymagania dotyczące pracy zdalnej

• Kandydaci muszą obecnie mieszkać w Stanach Zjednoczonych.

• Kandydaci muszą być uprawnieni do pracy w Stanach Zjednoczonych zgodnie z obowiązującymi wymogami pracodawcy dotyczącymi zatrudniania.

• Zatrudnienie zdalne podlega stanowym kwalifikacjom dotyczącym wynagrodzeń i zasadom firmy.

• Niektóre stanowiska mogą wymagać okazjonalnej obecności w biurze lub współpracy w godzinach pracy w USA.…

Źródło: Himalaje (https://himalayas.app/companies/edgeq-technologies-private-limited/jobs/junior-data-engineer?utm_source=api)