Softwareentwickler, Web-Crawling

Exa ist ein Labor für angewandte KI, das eine Suchmaschine entwickelt, wie sie die Welt noch nie gesehen hat. Wir bauen groß angelegte Infrastruktur zum Crawlen des gesamten Webs, trainieren modernste Einbettungsmodelle für die Verarbeitung und entwerfen hochleistungsfähige Vektordatenbanken zum Abrufen darüber. Wir unterstützen jetzt die Suche für Cursor, Cognition, HubSpot und über 400.000 Entwickler und haben 350 Millionen US-Dollar von Lightspeed, Benchmark und a16z gesammelt.

Unser oberstes Ziel ist es, eine perfekte Suche für alle Informationen auf der Welt zu entwickeln, weit über Google hinaus. Wenn Sie groß angelegte ML-Systeme aufbauen möchten, die die Art und Weise definieren, wie die neue KI-Welt Informationen konsumiert, sind Sie hier genau richtig.

Als Web-Crawler-Ingenieur sind Sie für das Crawlen des gesamten Webs verantwortlich. Erstellen Sie im Grunde ein Crawling im Google-Maßstab!

Wer du bist

• Sie verfügen über umfangreiche Erfahrung in der Entwicklung und Skalierung von Webcrawlern oder würden sich freuen, sehr schnell hochzufahren

• Sie haben Erfahrung mit einer Hochleistungssprache (C++, Rust usw.)

• Sie sind mit TypeScript, Playwright, modernem Webdesign und CDP (Chrome DevTools Protocol) vertraut.

• Sie fühlen sich wohl dabei, ein System in außergewöhnlichem Maße zu optimieren

• Ihnen liegt das Problem, qualitativ hochwertiges Wissen zu finden, am Herzen und Sie erkennen, wie wichtig dieses für die Welt ist

Was Sie tun könnten

• Erstellen Sie einen verteilten Crawler, der mehr als 100 Millionen Seiten pro Tag verarbeiten kann

• Optimieren Sie die Crawling-Höflichkeit und Ratenbegrenzung für Tausende von Domains

• Entwerfen Sie Systeme zur Erkennung und Verarbeitung dynamischer Inhalte, JavaScript-Rendering und Anti-Bot-Maßnahmen

• Erstellen Sie intelligente Crawling-Planungs- und Priorisierungsalgorithmen für maximale Abdeckungseffizienz

Logistik

• Ort: Dies ist eine persönliche Möglichkeit in Zürich.

• Visa: Wir unterstützen gerne internationale Kandidaten (z. B. STEM OPT, OPT, H1B, O1, E3). Obwohl wir Ihr Visum nicht garantieren können, waren wir in der Vergangenheit erfolgreich darin, Kandidaten aus der ganzen Welt zu fördern. Wenn Sie ein Angebot erhalten, wird unser Team hart daran arbeiten, Ihnen ein Visum zu besorgen.

• Leistungen: Wir bieten Premium-Gesundheitsleistungen (medizinische, zahnmedizinische, augenärztliche Leistungen), Fruchtbarkeitsleistungen, 16 Wochen voll bezahlten Elternurlaub für alle frischgebackenen Eltern und ein monatliches Wellness-Stipendium für alle unsere Mitarbeiter.

Exa ist ein Arbeitgeber, der Chancengleichheit fördert. Alle qualifizierten Bewerber werden für eine Anstellung berücksichtigt, unabhängig von Rasse, Glauben, Hautfarbe, Religion, Geschlecht, sexueller Orientierung, Geschlechtsidentität oder -ausdruck, nationaler Herkunft, Behinderung, Alter, Veteranenstatus, Familienstand, Schwangerschaft oder verwandten Bedingungen, Vorstrafen im Einklang mit geltendem Recht oder einer anderen durch geltendes Recht geschützten Grundlage.
Weitere englischsprachige Jobs in der Schweiz finden Sie auf Arbeitnow

Quelle: Arbeitnow (https://www.arbeitnow.ch/jobs/companies/exa/software-engineer-web-crawling-zurich-403574)