Старший інженер зі збирання даних Python (незалежний спеціаліст)

Mindrift шукає висококваліфікованих спеціалістів Vibecode, які приєднаються до проекту Tendem () і керуватимуть спеціалізованими робочими процесами збирання даних для реальних випадків використання. Mindrift шукає висококваліфікованих старших інженерів зі збирання даних Python, які приєднаються до проекту Tendem і керуватимуть спеціалізованими робочими процесами збирання даних для реальних програм. На цій посаді ви застосовуватимете свій досвід у веб-збиранні, вилученні та обробці даних, щоб отримати точні, надійні та високоякісні результати. Ця віддалена можливість для роботи з неповним робочим днем ​​ідеально підходить для технічних професіоналів із практичним досвідом роботи з веб-збиранням, вилученням і обробкою даних.
Що ми робимо
Платформа Mindrift об’єднує фахівців з інноваційними технологічними проектами. Наша місія полягає в тому, щоб допомогти розробити високоякісні технології штучного інтелекту, поєднуючи реальний досвід професіоналів з усього світу з передовими зусиллями щодо розробки штучного інтелекту.
Про роль
Це позаштатна роль для проекту Tendem. Як старший інженер зі збирання даних Python, ви вирішуватимете завдання зі збирання даних, які вимагають технічної точності для вилучення та обробки веб-сайтів, використовуючи такі інструменти, як Apify, OpenRouter та інші технології, а також ваші власні технічні знання та підходи.
Основні обов'язки

• Власні наскрізні робочі процеси вилучення даних на складних веб-сайтах, забезпечуючи повне охоплення, точність і надійну доставку структурованих наборів даних.

• Використовуйте доступні інструменти та спеціальні робочі процеси для прискорення збору даних, перевірки та виконання завдань, дотримуючись визначених вимог.

• Забезпечте надійне вилучення з динамічних та інтерактивних веб-джерел, за потреби адаптуйте підходи для обробки вмісту, відтвореного за допомогою JavaScript, і зміни поведінки сайту.

• Забезпечуйте дотримання стандартів якості даних за допомогою перевірки валідації, контролю узгодженості між джерелами, дотримання специфікацій форматування та систематичної перевірки перед доставкою.

• Масштабуйте операції збирання для великих наборів даних за допомогою ефективного пакетування або паралелізації, відстежуйте збої та підтримуйте стабільність проти незначних змін структури сайту.

Освітній ценз

• Принаймні 5+ років відповідного досвіду в інженерії даних, веб-скопіюванні, автоматизації або розробці програмного забезпечення (обов’язково).

• Ступінь бакалавра або магістра з інженерії, прикладної математики, комп’ютерних наук або суміжних технічних галузей є плюсом.

Академічний та/або професійний досвід
Кандидати повинні мати потужну технічну базу та практичний досвід роботи зі сценаріями, автоматизацією та вилученням даних. Ми шукаємо спеціалістів, які вміють вирішувати нетривіальні задачі, впевнено працювати з сучасними інструментами та технологіями розробки, а також систематично збирати, структурувати та перевіряти дані з різноманітних джерел. Важливими є методичний, детальний підхід і вміння працювати самостійно.
Технічні навички (необхідні)

• Багатий досвід веб-скрейпінгу Python (BeautifulSoup, Selenium або подібний), включаючи динамічний вміст (JS, AJAX, нескінченна прокрутка) та API через проксі

• Перевірена здатність витягувати дані зі складних структур (ієрархії, архівні сторінки, непослідовний HTML)

• Солідний досвід очищення, нормалізації та перевірки даних, надання структурованих наборів даних (CSV, JSON, Google Sheets)

Додаткові вимоги

• Продемонстрований досвід роботи з механізмами боротьби з ботами та динамічними структурами сайту в масштабі

• Досвід роботи з хмарною інфраструктурою (AWS або еквівалент) і контейнеризацією (Docker) як частина реальних робочих процесів

• Практичний досвід роботи з фреймворками LLM (LangChain, OpenRouter або подібними), застосованими для завдань автоматизації

• Сильна увага до деталей і прагнення до точності даних

• Самостійна трудова етика зі здатністю самостійно вирішувати проблеми

• Посилання на GitHub є перевагою

• Володіння англійською мовою: вище середнього (B2) або вище (обов’язково)

Очікуваний час проекту
Згідно з вимогами проекту для цього проекту на виконання завдань потрібно приблизно 10–20 годин на тиждень під час активних фаз. Це приблизне, а не гарантоване робоче навантаження, і застосовується лише під час активного проекту.
Компенсація
У цьому проекті учасники можуть заробляти до 40 доларів США в еквіваленті години залежно від рівня та темпів внесення. Компенсація залежить від обсягу, складності та необхідного досвіду. Зверніть увагу, що інші проекти на платформі можуть пропонувати різні рівні прибутку залежно від їхніх вимог.
Спочатку опубліковано на Гімалаях

Джерело: Himalayas (https://himalayas.app/companies/mindrift/jobs/senior-python-data-scraping-engineer-freelance-5626901476)