Datenwissenschaftler

Möchten Sie herausfinden, wie Sie tatsächlich messen, ob ein KI-System gute Arbeit leistet, und es dann verbessern? Wir suchen einen scharfsinnigen, analytischen Datenwissenschaftler, der für die Bewertung und Qualitätsschleife unseres AutoQA-Produkts verantwortlich ist. Sie können am Anfang Ihrer Karriere stehen (Absolventen mit ausgeprägten LLM-Grundlagen sind willkommen), wir haben Raum und einen klaren Weg für Ihre Weiterentwicklung.

Kurz gesagt

• Treten Sie einem schnell wachsenden SaaS-Unternehmen in einem internationalen Umfeld bei (steile Lernkurve garantiert).

• Sie stehen vor einem schwerwiegenden Problem: die LLM-gestützte Qualitätssicherung im großen Maßstab messbar genau zu machen.

• Sitzen Sie an der Schnittstelle von KI und CX und arbeiten Sie direkt mit Unternehmenskunden und ihren realen QA-Rubriken zusammen.

• Entwickeln Sie sich zu einer Rolle als Senior Data Scientist, AI Engineer oder ML Engineer. Wir investieren in den Fortschritt.

• Genießen Sie die Vergünstigungen: flexible Arbeitszeiten, offene Feiertagsregelung, ein Büro im Herzen von Amsterdam mit hybrider Flexibilität, Visa-Sponsoring, tolle Ausrüstung, Workations und Teamevents.

Über Kaizo
Bei Kaizo bauen wir eine Leistungsentwicklungs- und Qualitätsplattform für Kundensupportteams auf. Unser AutoQA-Produkt verwendet LLMs, um Supportgespräche anhand der Qualitätskriterien jedes Kunden automatisch und in großem Umfang zu überprüfen. Dahinter verbirgt sich eine auf Microservices basierende Stream-Verarbeitungsplattform, die über 200 Millionen Ereignisse pro Tag verarbeitet (Kafka, Kubernetes auf Google Cloud, ElasticSearch, MongoDB, BigQuery) und ein auf LangSmith basierender LLMOps-Stack für Experimente, Prompt-Management und Nachverfolgung.
Der schwierige Teil besteht nicht darin, einen LLM anzurufen. Es geht darum, nachweislich zu wissen, wie gut das System in der individuellen Rubrik jedes Kunden funktioniert, und über eine zuverlässige, wiederholbare Möglichkeit zu verfügen, es zu verbessern. Hier kommen Sie ins Spiel.

Worauf Sie sich konzentrieren werden

• Übersetzen Sie Kundenrubriken in AutoQA-Anweisungen. Arbeiten Sie mit echten Kundenqualitätskriterien und verwandeln Sie diese in präzise, ​​überprüfbare Anweisungen, die LLMs zuverlässig bewerten können.

• Führen Sie Experimente durch, die die Genauigkeit verbessern. Entwerfen und führen Sie Bewertungsexperimente für große, repräsentative Datensätze mit LangSmith und BigQuery durch und verfolgen Sie die Qualität mit unseren Leistungsmetriken.

• Erstellen Sie die Datensätze, die eine Auswertung ermöglichen. Kuratieren Sie rohe Produktionsdaten in goldene Datensätze mit ausgewogener Abdeckung und generieren Sie synthetische Daten, um die seltenen Fälle abzudecken, die am wichtigsten sind. Qualitätssicherung ist eine Disziplin mit seltenen Vorkommnissen: Verteilungen sind verzerrt, positive Ergebnisse sind selten und Einfallsreichtum ist wichtiger als Volumen.

• Erstellen Sie LLM-as-a-Judge-Pipelines, um die Systemqualität intern zu bewerten und die Bewertung wiederholbar zu machen.

• Ergebnisse umsetzbar machen. Ihre Experimente sollten mit einer Entscheidung enden: Ändern Sie eine Eingabeaufforderung, passen Sie an, welche Tools das System verwendet, zeigen Sie Kontext an, der der KI fehlt, oder markieren Sie, wo neue Funktionen benötigt werden. Sie arbeiten mit dem KI-Team zusammen, um diese Entscheidungen zu treffen.

• Bewerten Sie den gesamten Stack. Über die Bewertung der Qualität hinaus helfen Sie bei der Validierung des Abrufs (RAG/IR), des Tool-Aufrufs und der Sprachpipelines (Transkriptions- und Diarisierungsqualität).

• Nehmen Sie an Kundengesprächen mit dem Team teil, um zu verstehen, wie QA-Leiter Qualität definieren, und lassen Sie das Gelernte in das Produkt einfließen.

Worin du hineinwachsen wirst

• Gestalten, wie Kunden die Qualität selbst überwachen, Abweichungen erkennen und ihre AutoQA-Einrichtung im Laufe der Zeit verbessern.

• Intelligentere Kategorisierung und Weiterleitung von Gesprächen, um Analysen zu ermöglichen und die richtigen Tickets für die richtige Bewertung bereitzustellen.

• Ein solides Verständnis der Funktionsweise von LLMs und praktische Erfahrung, die sie zu Genauigkeit verleitet (Kursarbeiten, Abschlussarbeiten, Praktika oder Nebenprojekte zählen alle; Produktionserfahrung ist ein Bonus).

• Gute angewandte Statistik: Experimentdesign, Klassifikatorbewertung, Kompromisse zwischen Präzision und Rückruf und Arbeiten mit stark unausgeglichenen Daten.

• Gute Python-Kenntnisse und fließender Umgang mit dem Standard-Daten-Toolkit (Pandas, NumPy, Jupyter). SQL ist ein Plus.

• Eine analytische, evidenzorientierte Denkweise: Sie messen lieber, als dass Sie annehmen.

• Produktgespür und Empathie für Endbenutzer. Sie erstellen Inhalte für QA-Manager und Supportmitarbeiter, nicht nur für Benchmarks.

• Hervorragende schriftliche und mündliche Kommunikation. Sie präsentieren Ihre Erkenntnisse dem Team und nehmen an Kundengesprächen teil.

• 0 bis 2 Jahre Branchenerfahrung. Absolventen mit überzeugender einschlägiger Arbeit werden ermutigt, sich zu bewerben.

• Ein Teamplayer, der gerne mehrere Aufgaben trägt. Wir sind ein junges Unternehmen und die Dinge entwickeln sich schnell.

Bonuspunkte für:

• Erfahrung mit LangSmith oder ähnlichen LLMOps/Bewertungstools

• Google Cloud Platform, BigQuery, Docker oder Kubernetes

• Sprach-/Audioverarbeitung oder ASR-Auswertung

• Feinabstimmung oder Erstellung synthetischer Datensätze für LLMs

Mit wem Sie zusammenarbeiten werden

Sie werden Teil unseres KI-Teams (zwei Datenwissenschaftler, ein KI-Ingenieur und ein ML-Ingenieur) und arbeiten eng mit unseren Dateningenieuren, Frontend-Ingenieuren, Designern, Produktmanagern und CX-Teams zusammen. Sie werden vom ersten Tag an betreut und haben schnell echte Verantwortung.

Was haben Sie davon?

• Ein Büro im Herzen von Amsterdam, mit der Flexibilität des hybriden Arbeitens

• Visa-Sponsoring für berechtigte Kandidaten verfügbar

• Großartige Büroausrüstung: MacBook, Werkzeuge, Schreibtisch, Stuhl, was auch immer Sie brauchen

• Flexible Arbeitszeiten und eine offene Feiertagsregelung

• Unterhaltsame Arbeits- und Teamevents

• Ein klarer Wachstumspfad in die Rollen Senior Data Scientist, AI Engineer oder ML Engineer

Weitere englischsprachige Jobs in den Niederlanden finden Sie auf Arbeitnow

Quelle: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/kaizo/data-scientist-amsterdam-342593)