Senior Python Data Scraping Engineer (ελεύθερος επαγγελματίας)

Η Mindrift αναζητά εξειδικευμένους ειδικούς στο Vibecode για να συμμετάσχουν στο έργο Tendem () και να οδηγήσουν εξειδικευμένες ροές εργασίας απόξεσης δεδομένων για περιπτώσεις χρήσης πραγματικού κόσμου. Η Mindrift αναζητά υψηλά καταρτισμένους μηχανικούς της Python Data Scraping για να συμμετάσχουν στο έργο Tendem και να οδηγήσουν εξειδικευμένες ροές εργασίας απόξεσης δεδομένων για εφαρμογές πραγματικού κόσμου. Σε αυτόν τον ρόλο, θα εφαρμόσετε την τεχνογνωσία σας στην απόξεση ιστού, την εξαγωγή δεδομένων και την επεξεργασία δεδομένων για να παρέχετε ακριβή, αξιόπιστα και υψηλής ποιότητας αποτελέσματα. Αυτή η απομακρυσμένη ευκαιρία μερικής απασχόλησης είναι ιδανική για επαγγελματίες τεχνικούς με πρακτική εμπειρία στην απόξεση ιστού, την εξαγωγή δεδομένων και την επεξεργασία.
Τι κάνουμε
Η πλατφόρμα Mindrift συνδέει ειδικούς με καινοτόμα έργα τεχνολογίας. Η αποστολή μας είναι να βοηθήσουμε στην ανάπτυξη τεχνολογιών τεχνητής νοημοσύνης υψηλής ποιότητας, συνδυάζοντας την πραγματική εμπειρία από επαγγελματίες σε όλο τον κόσμο με προηγμένες προσπάθειες ανάπτυξης τεχνητής νοημοσύνης.
Σχετικά με το Ρόλο
Αυτός είναι ένας ανεξάρτητος ρόλος για ένα έργο Tendem. Ως Senior Python Data Scraping Engineer , θα χειρίζεστε εργασίες απομάκρυνσης δεδομένων που απαιτούν τεχνική ακρίβεια για την εξαγωγή και την επεξεργασία ιστού, χρησιμοποιώντας εργαλεία όπως το Apify, το OpenRouter και άλλες τεχνολογίες, παράλληλα με τη δική σας τεχνική εμπειρία και προσεγγίσεις.
Βασικές Ευθύνες

• Διαθέτετε ροές εργασιών εξαγωγής δεδομένων από άκρο σε άκρο σε πολύπλοκους ιστότοπους, διασφαλίζοντας πλήρη κάλυψη, ακρίβεια και αξιόπιστη παράδοση δομημένων συνόλων δεδομένων.

• Αξιοποιήστε τα διαθέσιμα εργαλεία και τις προσαρμοσμένες ροές εργασίας για να επιταχύνετε τη συλλογή δεδομένων, την επικύρωση και την εκτέλεση εργασιών, ενώ ικανοποιείτε τις καθορισμένες απαιτήσεις.

• Διασφαλίστε αξιόπιστη εξαγωγή από δυναμικές και διαδραστικές πηγές Ιστού, προσαρμόζοντας προσεγγίσεις όπως απαιτείται για τη διαχείριση περιεχομένου που αποδίδεται από JavaScript και αλλάζοντας τη συμπεριφορά του ιστότοπου.

• Επιβολή προτύπων ποιότητας δεδομένων μέσω ελέγχων επικύρωσης, ελέγχων συνέπειας μεταξύ πηγών, συμμόρφωσης με τις προδιαγραφές μορφοποίησης και συστηματικής επαλήθευσης πριν από την παράδοση.

• Κλιμακώστε τις λειτουργίες απόξεσης για μεγάλα σύνολα δεδομένων χρησιμοποιώντας αποτελεσματική ομαδοποίηση ή παραλληλοποίηση, παρακολουθήστε τις αστοχίες και διατηρήστε τη σταθερότητα έναντι δευτερευουσών αλλαγών στη δομή της τοποθεσίας.

Εκπαιδευτικά προσόντα

• Τουλάχιστον 5+ έτη σχετικής εμπειρίας στη μηχανική δεδομένων, την απόξεση ιστού, την αυτοματοποίηση ή την ανάπτυξη λογισμικού (απαιτείται).

• Πτυχίο ή μεταπτυχιακό δίπλωμα στη Μηχανική, τα Εφαρμοσμένα Μαθηματικά, την Επιστήμη των Υπολογιστών ή συναφείς τεχνικούς τομείς είναι ένα συν.

Ακαδημαϊκή ή/και Επαγγελματική Εμπειρία
Οι υποψήφιοι θα πρέπει να έχουν ισχυρή τεχνική βάση και πρακτική εμπειρία με ροές εργασιών σεναρίου, αυτοματισμού και εξαγωγής δεδομένων. Αναζητούμε ειδικούς που μπορούν να λύσουν μη ασήμαντα προβλήματα, να εργαστούν με σιγουριά με σύγχρονα εργαλεία και τεχνολογίες ανάπτυξης και να συλλέγουν, να δομούν και να επικυρώνουν συστηματικά δεδομένα από διάφορες πηγές. Μια μεθοδική, προσανατολισμένη στη λεπτομέρεια προσέγγιση και η ικανότητα ανεξάρτητης εργασίας είναι απαραίτητα.
Τεχνικές δεξιότητες (Απαραίτητες)

• Ισχυρή εμπειρία στο Python web scraping (BeautifulSoup, Selenium ή παρόμοια), συμπεριλαμβανομένου δυναμικού περιεχομένου (JS, AJAX, infinite scroll) και API μέσω proxies

• Αποδεδειγμένη ικανότητα εξαγωγής δεδομένων από πολύπλοκες δομές (ιεραρχίες, αρχειοθετημένες σελίδες, ασυνεπής HTML)

• Στερεό υπόβαθρο στον καθαρισμό, την κανονικοποίηση και την επικύρωση δεδομένων, την παροχή δομημένων συνόλων δεδομένων (CSV, JSON, Φύλλα Google)

Πρόσθετες απαιτήσεις

• Αποδεδειγμένη εμπειρία χειρισμού μηχανισμών anti-bot και δυναμικών δομών τοποθεσιών σε κλίμακα

• Εμπειρία με την υποδομή cloud (AWS ή ισοδύναμο) και τη μεταφορά εμπορευματοκιβωτίων (Docker) ως μέρος πραγματικών ροών εργασίας

• Πρακτική εμπειρία με πλαίσια LLM (LangChain, OpenRouter ή παρόμοια) που εφαρμόζονται σε εργασίες αυτοματισμού

• Ισχυρή προσοχή στη λεπτομέρεια και δέσμευση στην ακρίβεια των δεδομένων

• Αυτοκατευθυνόμενη εργασιακή ηθική με ικανότητα ανεξάρτητης αντιμετώπισης προβλημάτων

• Ένας σύνδεσμος προς το GitHub είναι ένα συν

• Γνώση Αγγλικών: Upper-intermediate (B2) ή άνω (απαιτείται)

Προσδοκίες χρόνου έργου
Για αυτό το έργο, οι εργασίες εκτιμάται ότι απαιτούν περίπου 10–20 ώρες την εβδομάδα κατά τις ενεργές φάσεις, με βάση τις απαιτήσεις του έργου. Αυτή είναι μια εκτίμηση, όχι εγγυημένος φόρτος εργασίας και ισχύει μόνο όταν το έργο είναι ενεργό.
Αποζημίωση
Σε αυτό το έργο, οι συνεισφέροντες μπορούν να κερδίσουν έως και 40 $ ανά ώρα ισοδύναμο , ανάλογα με το επίπεδο και τον ρυθμό συνεισφοράς τους. Η αποζημίωση ποικίλλει μεταξύ των έργων ανάλογα με το εύρος, την πολυπλοκότητα και την απαιτούμενη τεχνογνωσία. Λάβετε υπόψη ότι άλλα έργα στην πλατφόρμα ενδέχεται να προσφέρουν διαφορετικά επίπεδα κερδών ανάλογα με τις απαιτήσεις τους.
Αρχικά δημοσιεύτηκε στα Ιμαλάια

Πηγή: Himalayas (https://himalayas.app/companies/mindrift/jobs/senior-python-data-scraping-engineer-freelance-5626901476)