Scientifique des données

Voulez-vous déterminer comment mesurer réellement si un système d’IA fait du bon travail, puis l’améliorer ? Nous recherchons un data scientist pointu et analytique pour s'occuper de la boucle d'évaluation et de qualité de notre produit AutoQA. Vous pouvez être au début de votre carrière (les récents diplômés possédant de solides fondamentaux de LLM sont les bienvenus), nous avons de la place et un chemin clair pour vous développer.

En un mot

• Rejoignez une entreprise SaaS en forte croissance dans un environnement international (courbe d'apprentissage forte garantie).

• S'approprier un problème à fort impact : rendre l'assurance qualité basée sur LLM mesurablement précise à grande échelle.

• Soyez à l'intersection de l'IA et de l'expérience client, en travaillant directement avec les entreprises clientes et leurs rubriques d'assurance qualité réelles.

• Devenez un rôle de Data Scientist senior, d'ingénieur IA ou d'ingénieur ML. Nous investissons dans la progression.

• Profitez des avantages : horaires flexibles, politique de vacances ouvertes, bureau au cœur d'Amsterdam avec flexibilité hybride, parrainage de visa, équipement de qualité, travaux de travail et événements d'équipe.

À propos de Kaizo
Chez Kaizo, nous construisons une plateforme de développement des performances et de qualité pour les équipes de support client. Notre produit AutoQA utilise des LLM pour examiner les conversations d'assistance par rapport à la propre rubrique de qualité de chaque client, automatiquement et à grande échelle. Derrière lui se trouvent une plate-forme de traitement de flux basée sur des microservices gérant plus de 200 millions d'événements par jour (Kafka, Kubernetes sur Google Cloud, ElasticSearch, MongoDB, BigQuery) et une pile LLMOps construite autour de LangSmith pour l'expérimentation, la gestion des invites et le traçage.
Le plus difficile n'est pas d'appeler un LLM. Il s'agit de savoir, avec des preuves, dans quelle mesure le système fonctionne sur la rubrique unique de chaque client, et de disposer d'un moyen fiable et reproductible pour l'améliorer. C'est là que vous intervenez.

Sur quoi vous vous concentrerez

• Traduire les rubriques client en instructions AutoQA. Travaillez avec les véritables critères de qualité des clients et transformez-les en instructions précises et testables que les LLM peuvent évaluer de manière fiable.

• Réalisez des expériences qui améliorent la précision. Concevez et exécutez des expériences d'évaluation sur des ensembles de données volumineux et représentatifs à l'aide de LangSmith et BigQuery, et suivez la qualité grâce à nos mesures de performances.

• Construire les ensembles de données qui rendent l'évaluation possible. Organisez les données brutes de production dans des ensembles de données dorés avec une couverture équilibrée et générez des données synthétiques pour couvrir les cas rares qui comptent le plus. L’assurance qualité est une discipline rare : les distributions sont asymétriques, les points positifs sont rares et l’ingéniosité dépasse le volume.

• Créer des pipelines LLM-as-a-juge pour évaluer la qualité du système en interne et rendre l'évaluation reproductible.

• Rendre les résultats exploitables. Vos expériences devraient aboutir à une décision : modifier une invite, ajuster les outils utilisés par le système, faire apparaître le contexte dans lequel l'IA manque ou signaler les domaines où de nouvelles fonctionnalités sont nécessaires. Vous travaillerez avec l'équipe IA pour prendre ces décisions.

• Évaluez l'ensemble de la pile. Au-delà de la qualité de la notation, vous contribuerez à valider la récupération (RAG/IR), l'appel d'outils et les pipelines vocaux (qualité de transcription et de diarisation).

• Participez aux appels clients avec l'équipe pour comprendre comment les responsables de l'assurance qualité définissent la qualité et intégrez ce que vous avez appris dans le produit.

Ce que tu deviendras

• Déterminer la manière dont les clients surveillent eux-mêmes la qualité, détectent les dérives et améliorent leur configuration AutoQA au fil du temps.

• Catégorisation et routage plus intelligents des conversations pour optimiser l'analyse et obtenir les bons tickets pour la bonne évaluation.

• Une solide compréhension du fonctionnement des LLM et une expérience pratique les incitant à la précision (cours, thèses, stages ou projets parallèles comptent tous ; l'expérience en production est un bonus).

• Bonnes statistiques appliquées : conception d'expériences, évaluation du classificateur, compromis précision/rappel et travail avec des données fortement déséquilibrées.

• Solides compétences en Python et maîtrise de la boîte à outils de données standard (Pandas, NumPy, Jupyter). SQL est un plus.

• Un état d'esprit analytique axé sur les données probantes : vous préférez mesurer plutôt que supposer.

• Sens du produit et empathie pour les utilisateurs finaux. Vous construirez pour les responsables de l'assurance qualité et les agents de support, pas seulement pour les benchmarks.

• Excellente communication écrite et verbale. Vous présenterez les résultats à l’équipe et participerez aux conversations avec les clients.

• 0 à 2 ans d'expérience dans l'industrie. Les récents diplômés ayant un travail pertinent et solide sont encouragés à postuler.

• Un joueur d'équipe qui est à l'aise avec plusieurs casquettes. Nous sommes une entreprise en démarrage et les choses évoluent rapidement.

Points bonus pour :

• Expérience avec LangSmith ou un outil LLMOps/évaluation similaire

• Google Cloud Platform, BigQuery, Docker ou Kubernetes

• Traitement de la parole/audio ou évaluation ASR

• Affiner ou créer des ensembles de données synthétiques pour les LLM

Avec qui vous travaillerez

Vous rejoindrez notre équipe IA (deux data scientists, un ingénieur IA et un ingénieur ML) et collaborerez en étroite collaboration avec nos ingénieurs données, ingénieurs frontend, concepteur, chef de produit et équipes CX. Vous bénéficierez d'un mentorat dès le premier jour et d'une réelle appropriation rapidement.

Qu'est-ce que cela vous apporte ?

• Un bureau au cœur d'Amsterdam, avec la flexibilité du travail hybride

• Parrainage de visa disponible pour les candidats éligibles

• Excellent équipement de bureau : MacBook, outils, bureau, chaise, tout ce dont vous avez besoin

• Horaires de travail flexibles et politique de vacances ouvertes

• Travaux amusants et événements d'équipe

• Une voie de croissance claire vers les rôles de Senior Data Scientist, d'Ingénieur IA ou d'Ingénieur ML

Trouvez plus d'emplois anglophones aux Pays-Bas sur Arbeitnow

Source : Arbeitnow (https://www.arbeitnow.nl/jobs/companies/kaizo/data-scientist-amsterdam-342593)