científico de datos

¿Quiere descubrir cómo se mide realmente si un sistema de IA está haciendo un buen trabajo y luego mejorarlo? Buscamos un científico de datos analítico y agudo para ser dueño del ciclo de evaluación y calidad de nuestro producto AutoQA. Puede estar al principio de su carrera (los recién graduados con sólidos fundamentos de LLM son bienvenidos), tenemos espacio y un camino claro para que usted crezca.

En pocas palabras

• Únase a una empresa SaaS de rápido crecimiento en un entorno internacional (curva de aprendizaje pronunciada garantizada).

• Ser dueño de un problema de alto impacto: lograr que el control de calidad impulsado por el LLM sea mensurable y preciso a escala.

• Situarse en la intersección de AI y CX, trabajando directamente con clientes empresariales y sus rúbricas de control de calidad del mundo real.

• Conviértase en un puesto de científico de datos sénior, ingeniero de inteligencia artificial o ingeniero de aprendizaje automático. Invertimos en progresión.

• Disfrute de las ventajas: horario flexible, política de días festivos abiertos, una oficina en el corazón de Ámsterdam con flexibilidad híbrida, patrocinio de visas, excelente equipo, prácticas y eventos en equipo.

Acerca de Kaizo
En Kaizo, construimos una plataforma de calidad y desarrollo del rendimiento para los equipos de atención al cliente. Nuestro producto AutoQA utiliza LLM para revisar las conversaciones de soporte con la rúbrica de calidad propia de cada cliente, de forma automática y a escala. Detrás se encuentra una plataforma de procesamiento de flujo basada en microservicios que maneja más de 200 millones de eventos por día (Kafka, Kubernetes en Google Cloud, ElasticSearch, MongoDB, BigQuery) y una pila LLMOps construida alrededor de LangSmith para experimentación, gestión rápida y seguimiento.
La parte difícil no es solicitar un LLM. Se trata de saber, con evidencia, qué tan bien se desempeña el sistema en la rúbrica única de cada cliente y tener una forma confiable y repetible de mejorarlo. Ahí es donde entras tú.

En qué te concentrarás

• Traducir rúbricas de clientes en instrucciones de AutoQA. Trabaje con criterios de calidad reales del cliente y conviértalos en instrucciones precisas y comprobables que los LLM puedan calificar de manera confiable.

• Realizar experimentos que mejoren la precisión. Diseñe y ejecute experimentos de evaluación en conjuntos de datos grandes y representativos utilizando LangSmith y BigQuery, y realice un seguimiento de la calidad con nuestras métricas de rendimiento.

• Construir los conjuntos de datos que hagan posible la evaluación. Organice datos de producción sin procesar en conjuntos de datos valiosos con una cobertura equilibrada y genere datos sintéticos para cubrir los casos raros que más importan. El control de calidad es una disciplina que rara vez ocurre: las distribuciones están sesgadas, los aspectos positivos son escasos y el ingenio supera al volumen.

• Construir canales de LLM como juez para evaluar la calidad del sistema internamente y hacer que la evaluación sea repetible.

• Hacer que los resultados sean viables. Sus experimentos deben terminar en una decisión: cambiar un mensaje, ajustar qué herramientas utiliza el sistema, mostrar el contexto que le falta a la IA o marcar dónde se necesitan nuevas capacidades. Trabajará con el equipo de IA para tomar esas decisiones.

• Evaluar toda la pila. Más allá de la calidad de la puntuación, ayudará a validar la recuperación (RAG/IR), la llamada de herramientas y los canales de voz (calidad de transcripción y diario).

• Únase a las llamadas de los clientes con el equipo para comprender cómo los líderes de control de calidad definen la calidad e introduzca lo que aprenda en el producto.

En qué te convertirás

• Dar forma a la forma en que los clientes monitorean ellos mismos la calidad, detectan derivas y mantienen su configuración de AutoQA mejorando con el tiempo.

• Categorización y enrutamiento de conversaciones más inteligentes para potenciar el análisis y obtener los tickets correctos para la evaluación correcta.

• Una comprensión sólida de cómo funcionan los LLM y una experiencia práctica que los impulse a ser precisos (los cursos, las tesis, las pasantías o los proyectos paralelos cuentan; la experiencia en producción es una ventaja).

• Buenas estadísticas aplicadas: diseño de experimentos, evaluación de clasificadores, compensaciones entre precisión y recuperación y trabajo con datos muy desequilibrados.

• Fuertes habilidades en Python y fluidez con el conjunto de herramientas de datos estándar (Pandas, NumPy, Jupyter). SQL es una ventaja.

• Una mentalidad analítica que prioriza la evidencia: es mejor medir que asumir.

• Sentido del producto y empatía por los usuarios finales. Construirá para gerentes de control de calidad y agentes de soporte, no solo para evaluaciones comparativas.

• Excelente comunicación escrita y verbal. Presentará los hallazgos al equipo y se unirá a las conversaciones con los clientes.

• 0 a 2 años de experiencia en la industria. Se anima a postularse a los recién graduados con trabajos sólidos y relevantes.

• Un jugador de equipo que se siente cómodo desempeñando múltiples funciones. Somos una empresa en etapa inicial y las cosas avanzan rápido.

Puntos de bonificación por:

• Experiencia con LangSmith o herramientas de evaluación/LLMOps similares

• Google Cloud Platform, BigQuery, Docker o Kubernetes

• Procesamiento de voz/audio o evaluación ASR

• Ajuste o creación de conjuntos de datos sintéticos para LLM

Con quién trabajarás

Te unirás a nuestro equipo de IA (dos científicos de datos, un ingeniero de IA y un ingeniero de ML) y colaborarás estrechamente con nuestros ingenieros de datos, ingenieros de frontend, diseñadores, gerentes de productos y equipos de CX. Tendrás tutoría desde el primer día y una propiedad real rápidamente.

¿Qué hay para ti?

• Una oficina en el corazón de Ámsterdam, con la flexibilidad del trabajo híbrido

• Patrocinio de Visa disponible para candidatos elegibles

• Excelente equipo de oficina: MacBook, herramientas, escritorio, silla, lo que necesites

• Horario de trabajo flexible y política de vacaciones abiertas.

• Trabajos de trabajo divertidos y eventos en equipo

• Un camino claro de crecimiento hacia puestos de científico de datos sénior, ingeniero de inteligencia artificial o ingeniero de aprendizaje automático.

Encuentre más trabajos de habla inglesa en Países Bajos en Arbeitnow

Fuente: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/kaizo/data-scientist-amsterdam-342593)