Специалист по данным

Хотите выяснить, как на самом деле измерить, хорошо ли работает система ИИ, а затем улучшить ее? Мы ищем опытного специалиста по аналитическим данным, который будет отвечать за цикл оценки и качества нашего продукта AutoQA. Вы можете быть в самом начале своей карьеры (недавние выпускники с сильными основами LLM приветствуются), у нас есть место и четкий путь для вашего роста.

В двух словах

• Присоединяйтесь к быстрорастущей SaaS-компании в международной среде (гарантия быстрого обучения).

• Решить важную проблему: сделать контроль качества на основе LLM более точным в масштабе.

• Находитесь на стыке искусственного интеллекта и клиентского опыта, работая напрямую с корпоративными клиентами и их реальными критериями контроля качества.

• Станьте старшим специалистом по данным, инженером по искусственному интеллекту или инженером по машинному обучению. Мы инвестируем в прогресс.

• Воспользуйтесь преимуществами: гибкий график, открытая политика выходных, офис в центре Амстердама с гибридной гибкостью, визовое спонсорство, отличное снаряжение, работа и командные мероприятия.

О Кайзо
В Kaizo мы создаем платформу повышения производительности и качества для групп поддержки клиентов. Наш продукт AutoQA использует LLM для автоматического и масштабного анализа обращений в службу поддержки по собственным критериям качества каждого клиента. За ним стоит платформа потоковой обработки на основе микросервисов, обрабатывающая более 200 миллионов событий в день (Kafka, Kubernetes в Google Cloud, ElasticSearch, MongoDB, BigQuery), а также стек LLMOps, созданный на базе LangSmith для экспериментов, управления подсказками и отслеживания.
Самое сложное не в том, чтобы позвонить в LLM. Это достоверное знание того, насколько хорошо система работает по уникальному критерию каждого клиента, и наличие надежного и воспроизводимого способа ее улучшения. Вот куда вы заходите.

На чем вы сосредоточитесь

• Перевести рубрики клиентов в инструкции AutoQA. Работайте с реальными критериями качества клиентов и превращайте их в точные, проверяемые инструкции, которые LLM смогут надежно оценить.

• Проводите эксперименты, повышающие точность. Разрабатывайте и проводите оценочные эксперименты на больших репрезентативных наборах данных с помощью LangSmith и BigQuery, а также отслеживайте качество с помощью наших показателей производительности.

• Создайте наборы данных, которые сделают возможной оценку. Объединяйте необработанные производственные данные в «золотые наборы данных» со сбалансированным охватом и создавайте синтетические данные для охвата наиболее важных редких случаев. Обеспечение качества — дисциплина, которая встречается редко: распределения неравномерны, положительных результатов мало, а изобретательность превосходит объем.

• Создайте конвейеры LLM в качестве судьи для внутренней оценки качества системы и обеспечения повторяемости оценки.

• Сделайте результаты практически осуществимыми. Ваши эксперименты должны закончиться принятием решения: изменить подсказку, настроить инструменты, используемые системой, выявить контекст, которого не хватает ИИ, или указать, где необходимы новые возможности. Вы будете работать с командой искусственного интеллекта, чтобы реализовать эти решения.

• Оцените весь стек. Помимо оценки качества, вы поможете проверить извлечение (RAG/IR), вызов инструментов и речевые конвейеры (качество транскрипции и дневникизации).

• Присоединяйтесь к звонкам клиентам вместе с командой, чтобы понять, как руководители контроля качества определяют качество, и используйте полученные знания обратно в продукт.

Во что ты вырастешь

• Формирование того, как клиенты самостоятельно контролируют качество, улавливают отклонения и постоянно совершенствуют настройки AutoQA.

• Более разумная категоризация и маршрутизация разговоров для обеспечения аналитики и получения правильных билетов для правильной оценки.

• Глубокое понимание того, как работают LLM, и практический опыт, побуждающий их к точности (курсовая работа, диссертация, стажировки или побочные проекты — все имеет значение; производственный опыт является бонусом).

• Хорошая прикладная статистика: план эксперимента, оценка классификатора, компромисс между точностью и полнотой данных, а также работа с сильно несбалансированными данными.

• Хорошие навыки Python и свободное владение стандартным набором инструментов для работы с данными (Pandas, NumPy, Jupyter). SQL является плюсом.

• Аналитический склад ума, основанный на фактических данных: вы предпочитаете измерять, а не предполагать.

• Чувство продукта и сочувствие к конечным пользователям. Вы будете разрабатывать решения для менеджеров по обеспечению качества и агентов поддержки, а не только для тестов.

• Отличное письменное и устное общение. Вы представите результаты команде и присоединитесь к беседам с клиентами.

• Опыт работы в отрасли от 0 до 2 лет. Приглашаются недавние выпускники с сильной релевантной работой.

• Командный игрок, которому комфортно носить несколько шляп. Мы молодая компания, и дела идут быстро.

Бонусные баллы за:

• Опыт работы с LangSmith или аналогичными инструментами LLMOps/оценки.

• Google Cloud Platform, BigQuery, Docker или Kubernetes.

• Обработка речи/аудио или оценка ASR

• Точная настройка или создание синтетических наборов данных для LLM.

С кем вы будете работать

Вы присоединитесь к нашей команде по искусственному интеллекту (два специалиста по данным, инженер по искусственному интеллекту и инженер по машинному обучению) и будете тесно сотрудничать с нашими инженерами по данным, интерфейсными инженерами, дизайнерами, менеджерами по продуктам и командами CX. Вы получите наставничество с первого дня и быстро освоитесь.

Что это значит для вас?

• Офис в центре Амстердама с возможностью гибридной работы.

• Спонсорство визы доступно для подходящих кандидатов.

• Отличное офисное оборудование: MacBook, инструменты, письменный стол, стул и все необходимое.

• Гибкий график работы и политика открытых выходных.

• Веселая работа и командные мероприятия.

• Четкий путь роста до должностей старшего специалиста по данным, инженера по искусственному интеллекту или инженера по машинному обучению.

Найдите больше англоговорящих вакансий в Нидерландах на Arbeitnow

Источник: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/kaizo/data-scientist-amsterdam-342593).