Ingeniero sénior de raspado de datos de Python (independiente)

Mindrift está buscando especialistas de Vibecode altamente capacitados para unirse al proyecto Tendem () e impulsar flujos de trabajo de extracción de datos especializados para casos de uso del mundo real. Mindrift está buscando ingenieros senior de extracción de datos de Python altamente capacitados para unirse al proyecto Tendem e impulsar flujos de trabajo de extracción de datos especializados para aplicaciones del mundo real. En este puesto, aplicará su experiencia en web scraping, extracción y procesamiento de datos para ofrecer resultados precisos, confiables y de alta calidad. Esta oportunidad remota a tiempo parcial es ideal para profesionales técnicos con experiencia práctica en web scraping, extracción y procesamiento de datos.
Qué hacemos
La plataforma Mindrift conecta a especialistas con proyectos tecnológicos innovadores. Nuestra misión es ayudar a desarrollar tecnologías de IA de alta calidad combinando la experiencia del mundo real de profesionales de todo el mundo con esfuerzos avanzados de desarrollo de IA.
Acerca del rol
Este es un puesto freelance para un proyecto Tendem. Como ingeniero senior de extracción de datos de Python, manejará tareas de extracción de datos que requieren precisión técnica para la extracción y el procesamiento web, utilizando herramientas como Apify, OpenRouter y otras tecnologías, junto con su propia experiencia y enfoques técnicos.
Responsabilidades clave

• Flujos de trabajo propios de extracción de datos de extremo a extremo en sitios web complejos, lo que garantiza una cobertura completa, precisión y entrega confiable de conjuntos de datos estructurados.

• Aproveche las herramientas disponibles y los flujos de trabajo personalizados para acelerar la recopilación de datos, la validación y la ejecución de tareas mientras cumple con los requisitos definidos.

• Garantizar una extracción confiable de fuentes web dinámicas e interactivas, adaptando los enfoques según sea necesario para manejar el contenido renderizado en JavaScript y cambiar el comportamiento del sitio.

• Hacer cumplir los estándares de calidad de los datos mediante comprobaciones de validación, controles de coherencia entre fuentes, cumplimiento de las especificaciones de formato y verificación sistemática antes de la entrega.

• Escale las operaciones de raspado para grandes conjuntos de datos mediante procesamiento por lotes o paralelización eficiente, supervise las fallas y mantenga la estabilidad frente a cambios menores en la estructura del sitio.

Cualificaciones educativas

• Al menos 5+ años de experiencia relevante en ingeniería de datos, web scraping, automatización o desarrollo de software (requerido).

• Licenciatura o Maestría en Ingeniería, Matemáticas Aplicadas, Ciencias de la Computación o campos técnicos relacionados es una ventaja.

Experiencia Académica y/o Profesional
Los candidatos deben tener una base técnica sólida y experiencia práctica en secuencias de comandos, automatización y flujos de trabajo de extracción de datos. Buscamos especialistas que puedan resolver problemas no triviales, trabajar con confianza con herramientas y tecnologías de desarrollo modernas y recopilar, estructurar y validar sistemáticamente datos de diversas fuentes. Son esenciales un enfoque metódico y orientado a los detalles y la capacidad de trabajar de forma independiente.
Habilidades técnicas (esenciales)

• Amplia experiencia en web scraping de Python (BeautifulSoup, Selenium o similar), incluido contenido dinámico (JS, AJAX, desplazamiento infinito) y API a través de proxies.

• Capacidad comprobada para extraer datos de estructuras complejas (jerarquías, páginas archivadas, HTML inconsistente)

• Sólida experiencia en limpieza, normalización y validación de datos, entregando conjuntos de datos estructurados (CSV, JSON, Google Sheets)

Requisitos adicionales

• Experiencia demostrada en el manejo de mecanismos anti-bot y estructuras dinámicas de sitios a escala.

• Experiencia con infraestructura en la nube (AWS o equivalente) y contenedorización (Docker) como parte de flujos de trabajo reales.

• Experiencia práctica con marcos LLM (LangChain, OpenRouter o similares) aplicados a tareas de automatización.

• Gran atención al detalle y compromiso con la precisión de los datos.

• Ética de trabajo autodirigida con capacidad para solucionar problemas de forma independiente.

• Un enlace a GitHub es una ventaja

• Dominio del inglés: Intermedio alto (B2) o superior (obligatorio)

Expectativas de tiempo del proyecto
Para este proyecto, se estima que las tareas requerirán entre 10 y 20 horas por semana durante las fases activas, según los requisitos del proyecto. Esta es una estimación, no una carga de trabajo garantizada, y se aplica únicamente mientras el proyecto está activo.
Compensación
En este proyecto, los contribuyentes pueden ganar hasta $40 por hora equivalente, dependiendo de su nivel y ritmo de contribución. La compensación varía según los proyectos según el alcance, la complejidad y la experiencia requerida. Tenga en cuenta que otros proyectos en la plataforma pueden ofrecer diferentes niveles de ganancias según sus requisitos.
Publicado originalmente en Himalaya

Fuente: Himalaya (https://himalayas.app/companies/mindrift/jobs/senior-python-data-scraping-engineer-freelance-5626901476)