Starszy inżynier ds. skrobania danych w języku Python (niezależny)

Mindrift poszukuje wysoko wykwalifikowanych specjalistów Vibecode, którzy dołączą do projektu Tendem () i będą kierować specjalistycznymi przepływami pracy związanymi z gromadzeniem danych w rzeczywistych przypadkach użycia. Mindrift poszukuje wysoko wykwalifikowanych starszych inżynierów ds. skrobania danych w języku Python, którzy dołączą do projektu Tendem i będą kierować specjalistycznymi przepływami pracy związanych ze skrobaniem danych do zastosowań w świecie rzeczywistym. Na tym stanowisku wykorzystasz swoją wiedzę specjalistyczną w zakresie skrobania stron internetowych, ekstrakcji danych i przetwarzania danych, aby zapewnić dokładne, niezawodne i wysokiej jakości wyniki. Ta zdalna praca w niepełnym wymiarze godzin jest idealna dla specjalistów technicznych z praktycznym doświadczeniem w przeglądaniu stron internetowych, ekstrakcji i przetwarzaniu danych.
Co robimy
Platforma Mindrift łączy specjalistów z innowacyjnymi projektami technologicznymi. Naszą misją jest pomaganie w opracowywaniu wysokiej jakości technologii sztucznej inteligencji poprzez łączenie wiedzy specjalistycznej specjalistów z całego świata z rzeczywistymi działaniami na rzecz rozwoju sztucznej inteligencji.
O roli
Jest to niezależna rola w projekcie Tendem. Jako starszy inżynier ds. skrobania danych w języku Python będziesz zajmować się zadaniami skrobania danych wymagającymi technicznej precyzji przy wyodrębnianiu i przetwarzaniu sieci, wykorzystując narzędzia takie jak Apify, OpenRouter i inne technologie, a także własną wiedzę techniczną i podejście.
Kluczowe obowiązki

• Własne, kompleksowe procesy ekstrakcji danych ze złożonych witryn internetowych, zapewniające pełne pokrycie, dokładność i niezawodne dostarczanie ustrukturyzowanych zbiorów danych.

• Wykorzystuj dostępne narzędzia i niestandardowe przepływy pracy, aby przyspieszyć gromadzenie danych, sprawdzanie poprawności i wykonywanie zadań przy jednoczesnym spełnieniu określonych wymagań.

• Zapewnij niezawodną ekstrakcję z dynamicznych i interaktywnych źródeł internetowych, dostosowując podejście w razie potrzeby do obsługi treści renderowanych w języku JavaScript i zmieniając zachowanie witryny.

• Egzekwuj standardy jakości danych poprzez kontrole walidacyjne, kontrole spójności między źródłami, przestrzeganie specyfikacji formatowania i systematyczną weryfikację przed dostarczeniem.

• Skaluj operacje skrobania dla dużych zestawów danych przy użyciu wydajnego przetwarzania wsadowego lub równoległości, monitoruj awarie i utrzymuj stabilność w przypadku drobnych zmian w strukturze witryny.

Kwalifikacje edukacyjne

• Co najmniej 5 lat odpowiedniego doświadczenia w inżynierii danych, scrapowaniu stron internetowych, automatyzacji lub tworzeniu oprogramowania (wymagane).

• Tytuł licencjata lub magistra w dziedzinie inżynierii, matematyki stosowanej, informatyki lub pokrewnych dziedzin technicznych będzie dodatkowym atutem.

Doświadczenie akademickie i/lub zawodowe
Kandydaci powinni posiadać solidne podstawy techniczne i praktyczne doświadczenie w zakresie przepływów pracy związanych ze skryptami, automatyzacją i ekstrakcją danych. Poszukujemy specjalistów, którzy potrafią rozwiązywać nietrywialne problemy, pewnie pracują z nowoczesnymi narzędziami i technologiami programistycznymi oraz systematycznie zbierają, strukturyzują i walidują dane z różnorodnych źródeł. Niezbędne jest metodyczne, zorientowane na szczegóły podejście i umiejętność samodzielnej pracy.
Umiejętności techniczne (niezbędne)

• Duże doświadczenie w scrapowaniu stron internetowych w Pythonie (BeautifulSoup, Selenium lub podobne), w tym w zakresie treści dynamicznych (JS, AJAX, nieskończone przewijanie) i interfejsów API za pośrednictwem serwerów proxy

• Sprawdzona umiejętność wydobywania danych ze złożonych struktur (hierarchie, strony zarchiwizowane, niespójny HTML)

• Solidne doświadczenie w czyszczeniu, normalizacji i walidacji danych, dostarczanie uporządkowanych zbiorów danych (CSV, JSON, Arkusze Google)

Dodatkowe wymagania

• Udokumentowane doświadczenie w obsłudze mechanizmów antybotowych i dynamicznych struktur witryn na dużą skalę

• Doświadczenie z infrastrukturą chmurową (AWS lub równoważną) i konteneryzacją (Docker) w ramach rzeczywistych przepływów pracy

• Praktyczne doświadczenie z frameworkami LLM (LangChain, OpenRouter lub podobnymi) stosowanymi do zadań automatyzacji

• Duża dbałość o szczegóły i dbałość o dokładność danych

• Samodzielna etyka pracy z możliwością samodzielnego rozwiązywania problemów

• Link do GitHuba to plus

• Znajomość języka angielskiego: średniozaawansowany wyższy (B2) lub wyższy (wymagany)

Oczekiwania czasowe projektu
Szacuje się, że w przypadku tego projektu zadania będą wymagały około 10–20 godzin tygodniowo w aktywnych fazach, w oparciu o wymagania projektu. Jest to szacunkowy, a nie gwarantowany nakład pracy i ma zastosowanie tylko wtedy, gdy projekt jest aktywny.
Kompensacja
W ramach tego projektu współautorzy mogą zarobić do 40 dolarów za godzinę, w zależności od poziomu i tempa wkładu. Wynagrodzenie różni się w zależności od projektu, w zależności od zakresu, złożoności i wymaganej wiedzy specjalistycznej. Należy pamiętać, że inne projekty na platformie mogą oferować różne poziomy zarobków w zależności od ich wymagań.
Pierwotnie opublikowany w Himalajach

Źródło: Himalaje (https://himalayas.app/companies/mindrift/jobs/senior-python-data-scraping-engineer-freelance-5626901476)