Senior Python Data Scraping Engineer (freiberuflich)

Mindrift ist auf der Suche nach hochqualifizierten Vibecode-Spezialisten, die sich dem Tendem-Projekt () anschließen und spezielle Daten-Scraping-Workflows für reale Anwendungsfälle vorantreiben. Mindrift ist auf der Suche nach hochqualifizierten Senior-Python-Data-Scraping-Ingenieuren, die sich dem Tendem-Projekt anschließen und spezielle Data-Scraping-Workflows für reale Anwendungen vorantreiben. In dieser Rolle wenden Sie Ihr Fachwissen in den Bereichen Web Scraping, Datenextraktion und Datenverarbeitung an, um genaue, zuverlässige und qualitativ hochwertige Ergebnisse zu liefern. Diese Teilzeit-Remote-Stelle ist ideal für technische Fachkräfte mit praktischer Erfahrung im Web-Scraping, der Datenextraktion und -verarbeitung.
Was wir tun
Die Mindrift-Plattform verbindet Spezialisten mit innovativen Technologieprojekten. Unsere Mission ist es, bei der Entwicklung hochwertiger KI-Technologien zu helfen, indem wir reales Fachwissen von Fachleuten aus der ganzen Welt mit fortschrittlichen KI-Entwicklungsbemühungen kombinieren.
Über die Rolle
Dies ist eine freiberufliche Stelle für ein Tendem-Projekt. Als Senior Python Data Scraping Engineer kümmern Sie sich um Daten-Scraping-Aufgaben, die technische Präzision für die Webextraktion und -verarbeitung erfordern. Dabei nutzen Sie Tools wie Apify, OpenRouter und andere Technologien sowie Ihr eigenes technisches Fachwissen und Ihre eigenen Ansätze.
Hauptaufgaben

• Eigene End-to-End-Datenextraktionsworkflows für komplexe Websites, die eine vollständige Abdeckung, Genauigkeit und zuverlässige Bereitstellung strukturierter Datensätze gewährleisten.

• Nutzen Sie verfügbare Tools und benutzerdefinierte Workflows, um die Datenerfassung, Validierung und Aufgabenausführung zu beschleunigen und gleichzeitig definierte Anforderungen zu erfüllen.

• Sorgen Sie für eine zuverlässige Extraktion aus dynamischen und interaktiven Webquellen und passen Sie die Ansätze nach Bedarf an, um mit JavaScript gerenderte Inhalte und sich änderndes Website-Verhalten zu verarbeiten.

• Setzen Sie Datenqualitätsstandards durch Validierungsprüfungen, quellenübergreifende Konsistenzkontrollen, Einhaltung von Formatierungsspezifikationen und systematische Überprüfung vor der Bereitstellung durch.

• Skalieren Sie Scraping-Vorgänge für große Datensätze mithilfe effizienter Stapelverarbeitung oder Parallelisierung, überwachen Sie Fehler und sorgen Sie für Stabilität bei geringfügigen Änderungen der Standortstruktur.

Bildungsabschlüsse

• Mindestens 5+ Jahre einschlägige Erfahrung in den Bereichen Datentechnik, Web Scraping, Automatisierung oder Softwareentwicklung (erforderlich).

• Ein Bachelor- oder Master-Abschluss in Ingenieurwissenschaften, Angewandter Mathematik, Informatik oder verwandten technischen Bereichen ist von Vorteil.

Akademische und/oder berufliche Erfahrung
Kandidaten sollten über solide technische Grundlagen und praktische Erfahrung mit Skripting-, Automatisierungs- und Datenextraktions-Workflows verfügen. Wir suchen Spezialisten, die nicht triviale Probleme lösen, sicher mit modernen Entwicklungstools und -technologien arbeiten und Daten aus unterschiedlichen Quellen systematisch sammeln, strukturieren und validieren können. Eine methodische, detailorientierte Vorgehensweise und die Fähigkeit zum selbstständigen Arbeiten sind unerlässlich.
Technische Fähigkeiten (wesentlich)

• Umfangreiche Erfahrung im Python-Web-Scraping (BeautifulSoup, Selenium oder ähnliches), einschließlich dynamischer Inhalte (JS, AJAX, Infinite Scroll) und APIs über Proxys

• Nachgewiesene Fähigkeit, Daten aus komplexen Strukturen (Hierarchien, archivierte Seiten, inkonsistentes HTML) zu extrahieren.

• Solide Kenntnisse in der Datenbereinigung, -normalisierung und -validierung sowie der Bereitstellung strukturierter Datensätze (CSV, JSON, Google Sheets)

Zusätzliche Anforderungen

• Nachgewiesene Erfahrung im Umgang mit Anti-Bot-Mechanismen und dynamischen Site-Strukturen im großen Maßstab

• Erfahrung mit Cloud-Infrastruktur (AWS oder gleichwertig) und Containerisierung (Docker) als Teil realer Arbeitsabläufe

• Praktische Erfahrung mit LLM-Frameworks (LangChain, OpenRouter oder ähnliches), die auf Automatisierungsaufgaben angewendet werden

• Große Liebe zum Detail und Engagement für Datengenauigkeit

• Selbstgesteuerte Arbeitsmoral mit der Fähigkeit, Fehler selbstständig zu beheben

• Ein Link zu GitHub ist von Vorteil

• Englischkenntnisse: Obere Mittelstufe (B2) oder höher (erforderlich)

Erwartungen an die Projektzeit
Für dieses Projekt wird geschätzt, dass die Aufgaben in den aktiven Phasen je nach Projektanforderungen etwa 10 bis 20 Stunden pro Woche in Anspruch nehmen. Hierbei handelt es sich um eine Schätzung, nicht um eine garantierte Arbeitsbelastung, und sie gilt nur, solange das Projekt aktiv ist.
Entschädigung
Bei diesem Projekt können Mitwirkende je nach Niveau und Tempo ihres Beitrags bis zu 40 US-Dollar pro Stunde verdienen. Die Vergütung variiert je nach Projekt je nach Umfang, Komplexität und erforderlichem Fachwissen. Bitte beachten Sie, dass andere Projekte auf der Plattform je nach ihren Anforderungen möglicherweise andere Verdienstniveaus bieten.
Ursprünglich auf Himalaya gepostet

Quelle: Himalaya (https://himalayas.app/companies/mindrift/jobs/senior-python-data-scraping-engineer-freelance-5626901476)