Kıdemli Python Veri Kazıma Mühendisi (Serbest Çalışan)

Mindrift, Tendem projesine () katılmak ve gerçek dünyadaki kullanım durumları için özel veri kazıma iş akışlarını yürütmek üzere yüksek vasıflı Vibecode uzmanları arıyor. Mindrift, Tendem projesine katılmak ve gerçek dünya uygulamaları için özel veri kazıma iş akışlarını yönlendirmek üzere yüksek vasıflı Kıdemli Python Veri Kazıma Mühendisleri arıyor. Bu rolde, doğru, güvenilir ve yüksek kaliteli sonuçlar sunmak için web kazıma, veri çıkarma ve veri işleme konusundaki uzmanlığınızı uygulayacaksınız. Bu yarı zamanlı uzaktan fırsat, web kazıma, veri çıkarma ve işleme konularında uygulamalı deneyime sahip teknik profesyoneller için idealdir.
Ne Yapıyoruz?
Mindrift platformu uzmanları yenilikçi teknoloji projeleriyle buluşturuyor. Misyonumuz, dünya genelindeki profesyonellerin gerçek dünya uzmanlığını gelişmiş yapay zeka geliştirme çabalarıyla birleştirerek yüksek kaliteli yapay zeka teknolojilerinin geliştirilmesine yardımcı olmaktır.
Rol Hakkında
Bu bir Tendem projesi için serbest çalışma görevidir. Kıdemli Python Veri Kazıma Mühendisi olarak, kendi teknik uzmanlığınızın ve yaklaşımlarınızın yanı sıra Apify, OpenRouter ve diğer teknolojileri kullanarak web çıkarma ve işleme için teknik hassasiyet gerektiren veri kazıma görevlerini yerine getireceksiniz.
Temel Sorumluluklar

• Karmaşık web siteleri genelinde uçtan uca veri çıkarma iş akışlarına sahip olup, yapılandırılmış veri kümelerinin eksiksiz kapsamını, doğruluğunu ve güvenilir şekilde teslim edilmesini sağlar.

• Tanımlanan gereksinimi karşılarken veri toplamayı, doğrulamayı ve görev yürütmeyi hızlandırmak için mevcut araçlardan ve özel iş akışlarından yararlanın.

• JavaScript tarafından oluşturulan içeriği yönetmek ve site davranışını değiştirmek için yaklaşımları gerektiği gibi uyarlayarak, dinamik ve etkileşimli web kaynaklarından güvenilir bir şekilde çıkarmayı sağlayın.

• Doğrulama kontrolleri, çapraz kaynaklar tutarlılık kontrolleri, biçimlendirme spesifikasyonlarına bağlılık ve teslimattan önce sistematik doğrulama yoluyla veri kalitesi standartlarını uygulayın.

• Verimli toplu işlem veya paralelleştirme kullanarak büyük veri kümeleri için kazıma işlemlerini ölçeklendirin, arızaları izleyin ve küçük tesis yapısı değişikliklerine karşı kararlılığı koruyun.

Eğitim nitelikleri

• Veri mühendisliği, web kazıma, otomasyon veya yazılım geliştirme konularında en az 5+ yıllık ilgili deneyim (gerekli).

• Mühendislik, Uygulamalı Matematik, Bilgisayar Bilimleri veya ilgili teknik alanlarda Lisans veya Yüksek Lisans derecesi bir artıdır.

Akademik ve/veya Mesleki Deneyim
Adayların güçlü bir teknik temele ve komut dosyası oluşturma, otomasyon ve veri çıkarma iş akışları konusunda pratik deneyime sahip olmaları gerekir. Önemsiz olmayan sorunları çözebilen, modern geliştirme araçları ve teknolojileriyle güvenle çalışabilen ve çeşitli kaynaklardan verileri sistematik olarak toplayabilen, yapılandırabilen ve doğrulayabilen uzmanlar arıyoruz. Metodik, detay odaklı bir yaklaşım ve bağımsız çalışabilme yeteneği esastır.
Teknik Beceriler (Gerekli)

• Dinamik içerik (JS, AJAX, sonsuz kaydırma) ve proxy'ler aracılığıyla API'ler dahil olmak üzere Python web kazıma (BeautifulSoup, Selenium veya benzeri) konusunda güçlü deneyim

• Karmaşık yapılardan (hiyerarşiler, arşivlenmiş sayfalar, tutarsız HTML) veri çıkarma konusunda kanıtlanmış yetenek

• Yapılandırılmış veri kümeleri (CSV, JSON, Google E-Tablolar) sağlayan, veri temizleme, normalleştirme ve doğrulama konusunda sağlam bir arka plan

Ek gereksinimler

• Bot önleme mekanizmalarını ve dinamik site yapılarını geniş ölçekte yönetme konusunda kanıtlanmış deneyim

• Gerçek iş akışlarının bir parçası olarak bulut altyapısı (AWS veya eşdeğeri) ve konteynerleştirme (Docker) deneyimi

• Otomasyon görevlerine uygulanan Yüksek Lisans çerçeveleri (LangChain, OpenRouter veya benzeri) ile ilgili uygulamalı deneyim

• Detaylara güçlü dikkat ve veri doğruluğuna bağlılık

• Bağımsız olarak sorun giderme becerisine sahip, kendi kendini yönlendiren iş ahlakı

• GitHub bağlantısı bir artıdır

• İngilizce yeterliliği: Orta üstü (B2) veya üstü (gerekli)

Proje süresi beklentileri
Bu proje için, proje gereksinimlerine bağlı olarak görevlerin aktif aşamalarda haftada yaklaşık 10-20 saat gerektireceği tahmin edilmektedir. Bu bir tahmindir, garanti edilen bir iş yükü değildir ve yalnızca proje etkinken geçerlidir.
Tazminat
Bu projede katkıda bulunanlar, katkı düzeylerine ve hızlarına bağlı olarak saat başına 40$'a kadar eşdeğer kazanabilirler. Ücretlendirme kapsam, karmaşıklık ve gerekli uzmanlığa bağlı olarak projeler arasında değişiklik gösterir. Platformdaki diğer projelerin gereksinimlerine göre farklı kazanç seviyeleri sunabileceğini lütfen unutmayın.
İlk olarak Himalayalar üzerinde paylaşıldı

Kaynak: Himalayalar (https://himalayas.app/companies/mindrift/jobs/senior-python-data-scraping-engineer-freelance-5626901476)