Data Scientist

Ви хочете визначити, як насправді виміряти, чи добре працює система ШІ, а потім покращити її? Ми шукаємо кмітливого спеціаліста з аналізу даних, який би володів циклом оцінки та якості нашого продукту AutoQA. Ви можете бути на початку своєї кар’єри (недавні випускники з міцними основами магістра права вітаються), у нас є місце та чіткий шлях для вашого зростання.

У двох словах

• Приєднайтеся до швидкозростаючої компанії SaaS у міжнародному середовищі (крута крива навчання гарантована).

• Розв’яжіть серйозну проблему: зробити систему забезпечення якості на базі LLM вимірювано точною в масштабі.

• Сидіть на перетині AI та CX, працюючи безпосередньо з корпоративними клієнтами та їхніми реальними рубриками QA.

• Досягніть посади старшого спеціаліста з обробки даних, інженера штучного інтелекту або інженера ML. Ми інвестуємо в прогрес.

• Насолоджуйтесь перевагами: гнучкий графік, відкрита політика святкових днів, офіс у центрі Амстердама з гібридною гнучкістю, візове спонсорство, чудове спорядження, робота та командні заходи.

Про Кайзо
У Kaizo ми створюємо платформу підвищення продуктивності та якості для команд підтримки клієнтів. Наш продукт AutoQA використовує LLMs для аналізу розмов служби підтримки за власним критерієм якості кожного клієнта, автоматично та в масштабі. За ним стоїть платформа потокової обробки на основі мікросервісів, яка обробляє понад 200 мільйонів подій на день (Kafka, Kubernetes у Google Cloud, ElasticSearch, MongoDB, BigQuery), а також стек LLMOps, створений навколо LangSmith для експериментів, оперативного керування та відстеження.
Складна частина полягає не в тому, щоб викликати LLM. Це знання з доказами того, наскільки добре система працює з унікальним показником кожного клієнта, і наявність надійного, повторюваного способу її покращення. Ось де ти вступаєш.

На чому ви зосередитеся

• Перекладіть рубрики клієнта в інструкції AutoQA. Працюйте з реальними критеріями якості клієнтів і перетворюйте їх на точні, перевірені інструкції, які LLM можуть надійно оцінити.

• Проводьте експерименти, які підвищують точність. Розробляйте та виконуйте експерименти з оцінки великих репрезентативних наборів даних за допомогою LangSmith і BigQuery та відстежуйте якість за допомогою наших показників ефективності.

• Створіть набори даних, які роблять оцінку можливою. Збирайте необроблені виробничі дані в золоті набори даних із збалансованим охопленням і створюйте синтетичні дані для охоплення рідкісних випадків, які є найбільш важливими. Контроль якості — це дисципліна, яка зустрічається рідко: розподіл спотворений, позитивних результатів мало, а винахідливість перемагає обсяг.

• Створіть конвеєр LLM як судді для внутрішньої оцінки якості системи та забезпечення повторюваності оцінювання.

• Зробіть результати реальними. Ваші експерименти мають завершитися рішенням: змінити підказку, налаштувати, які інструменти використовує система, поверхневий контекст, якого бракує ШІ, або позначити, де потрібні нові можливості. Ви працюватимете з командою AI, щоб надсилати ці рішення.

• Оцініть весь стек. Окрім оцінки якості, ви допоможете підтвердити пошук (RAG/IR), виклик інструментів і конвеєри мовлення (якість транскрипції та діаризації).

• Приєднуйтеся до дзвінків клієнтів разом із командою, щоб зрозуміти, як керівники контролю якості визначають якість, і використати отримані знання в продукті.

У що ти виростеш

• Формування того, як клієнти самостійно контролюють якість, ловлять дрейф і з часом покращують свої налаштування AutoQA.

• Розумніша категоризація та маршрутизація розмов для потужної аналітики та отримання правильних квитків до правильної оцінки.

• Тверде розуміння того, як працюють магістри права, і практичний досвід, який спонукає їх до точності (курсова робота, дисертація, стажування або додаткові проекти – все це враховується; досвід виробництва є бонусом).

• Хороша прикладна статистика: дизайн експерименту, оцінка класифікатора, компроміс між точністю/запам’ятовуванням і робота з сильно незбалансованими даними.

• Сильні навички Python і вільне володіння стандартним інструментарієм даних (Pandas, NumPy, Jupyter). SQL є плюсом.

• Аналітичне мислення, орієнтоване на докази: ви скоріше вимірюватимете, ніж припускатимете.

• Чуття продукту та співпереживання кінцевим користувачам. Ви будуватимете для менеджерів із забезпечення якості та агентів підтримки, а не лише для тестів.

• Відмінне письмове та усне спілкування. Ви представите результати команді та приєднаєтеся до розмов із клієнтами.

• Досвід роботи в галузі від 0 до 2 років. Нещодавні випускники з сильною відповідною роботою заохочуються подати заявку.

• Командний гравець, якому зручно носити кілька головних уборів. Ми — компанія на ранній стадії розвитку, і все розвивається швидко.

Бонусні бали за:

• Досвід роботи з LangSmith або подібним LLMOps/інструментом оцінювання

• Google Cloud Platform, BigQuery, Docker або Kubernetes

• Обробка мови/аудіо або оцінка ASR

• Точне налаштування або створення синтетичних наборів даних для LLM

З ким ти будеш працювати

Ви приєднаєтеся до нашої команди штучного інтелекту (двоє спеціалістів із обробки даних, інженер ШІ та інженер ML) і тісно співпрацюватимете з нашими інженерами обробки даних, інженерами інтерфейсу, дизайнерами, менеджерами з продуктів і командами CX. Ви матимете наставництво з першого дня та швидко станете справжнім власником.

Що це для вас?

• Офіс у центрі Амстердама з гнучкістю гібридної роботи

• Візове спонсорство доступне для відповідних кандидатів

• Чудове офісне обладнання: MacBook, інструменти, стіл, стілець, все, що вам потрібно

• Гнучкий графік роботи та відкриті вихідні дні

• Веселі роботи та командні заходи

• Чіткий шлях зростання до посад старшого спеціаліста з обробки даних, інженера зі штучного інтелекту або інженера з машинного навчання

Знайдіть більше англомовних вакансій у Нідерландах на Arbeitnow

Джерело: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/kaizo/data-scientist-amsterdam-342593)