Analityk danych

Czy chcesz dowiedzieć się, jak faktycznie zmierzyć, czy system sztucznej inteligencji dobrze sobie radzi, a następnie ulepszyć go? Poszukujemy bystrego, analitycznego analityka danych, który będzie właścicielem pętli oceny i jakości naszego produktu AutoQA. Możesz być na początku swojej kariery (mile widziani absolwenci z mocnymi podstawami LLM), mamy dla Ciebie miejsce i jasną ścieżkę rozwoju.

W skrócie

• Dołącz do szybko rozwijającej się firmy SaaS w środowisku międzynarodowym (gwarantowana stroma krzywa uczenia się).

• Posiadaj problem o dużym wpływie: zapewnienie wymiernej dokładności w skali LLM zapewniania jakości.

• Znajdź miejsce na skrzyżowaniu AI i CX, pracując bezpośrednio z klientami korporacyjnymi i ich rzeczywistymi obszarami kontroli jakości.

• Zostań starszym analitykiem danych, inżynierem AI lub inżynierem ML. Inwestujemy w rozwój.

• Ciesz się korzyściami: elastyczne godziny pracy, polityka urlopowa, biuro w sercu Amsterdamu z elastycznością hybrydową, sponsorowanie wiz, świetny sprzęt, praca i wydarzenia zespołowe.

O Kaizo
W Kaizo budujemy platformę rozwoju wydajności i jakości dla zespołów obsługi klienta. Nasz produkt AutoQA wykorzystuje LLM do automatycznego i na dużą skalę sprawdzania rozmów dotyczących pomocy technicznej pod kątem własnych kryteriów jakości każdego klienta. Za nim znajduje się platforma przetwarzania strumieniowego oparta na mikrousługach, obsługująca ponad 200 milionów zdarzeń dziennie (Kafka, Kubernetes w Google Cloud, ElasticSearch, MongoDB, BigQuery) oraz stos LLMOps zbudowany wokół LangSmith do eksperymentowania, szybkiego zarządzania i śledzenia.
Najtrudniejszą częścią nie jest dzwonienie do LLM. To wiedza poparta dowodami, jak dobrze system działa w unikalnej kategorii każdego klienta, oraz posiadanie niezawodnego, powtarzalnego sposobu na jego ulepszenie. To właśnie tam wkraczasz ty.

Na czym się skupisz

• Przetłumacz rubryki klientów na instrukcje AutoQA. Pracuj z rzeczywistymi kryteriami jakości klienta i przekształcaj je w precyzyjne, sprawdzalne instrukcje, które LLM mogą wiarygodnie ocenić.

• Przeprowadzaj eksperymenty, które wpływają na dokładność. Projektuj i przeprowadzaj eksperymenty ewaluacyjne na dużych, reprezentatywnych zbiorach danych przy użyciu LangSmith i BigQuery oraz śledź jakość za pomocą naszych wskaźników wydajności.

• Zbuduj zbiory danych umożliwiające ocenę. Łącz surowe dane produkcyjne w złote zestawy danych o zrównoważonym zasięgu i generuj dane syntetyczne, aby uwzględnić rzadkie przypadki, które mają największe znaczenie. Kontrola jakości to dziedzina, w której zdarzają się rzadkie przypadki: rozkłady są wypaczone, pozytywów jest niewiele, a zaradność przewyższa ilość.

• Twórz potoki LLM jako sędzia, aby wewnętrznie oceniać jakość systemu i zapewniać powtarzalność oceny.

• Spraw, aby wyniki były wykonalne. Twoje eksperymenty powinny zakończyć się decyzją: zmienić monit, dostosować narzędzia używane przez system, wskazać kontekst, w którym brakuje sztucznej inteligencji, lub wskazać, gdzie potrzebne są nowe możliwości. Będziesz współpracować z zespołem AI, aby wydać te decyzje.

• Oceń cały stos. Oprócz jakości punktacji pomożesz zweryfikować pobieranie (RAG/IR), wywoływanie narzędzi i potoki mowy (jakość transkrypcji i diaaryzacji).

• Dołącz do rozmów z klientami z zespołem, aby zrozumieć, w jaki sposób liderzy kontroli jakości definiują jakość i wykorzystać zdobytą wiedzę w produkcie.

W co wyrośniesz

• Kształtowanie sposobu, w jaki klienci sami monitorują jakość, wychwytują odchylenia i stale ulepszają swoją konfigurację AutoQA.

• Inteligentniejsza kategoryzacja i kierowanie rozmów w celu usprawnienia analiz i uzyskania odpowiednich biletów do właściwej oceny.

• Solidne zrozumienie sposobu działania LLM i praktyczne doświadczenie skłaniające ich do dokładności (zajęcia, prace dyplomowe, staże lub projekty poboczne – wszystko to się liczy; doświadczenie produkcyjne jest bonusem).

• Dobrze stosowane statystyki: projekt eksperymentu, ocena klasyfikatora, kompromis między precyzją a pamięcią oraz praca z silnie niezrównoważonymi danymi.

• Dobra znajomość języka Python i biegłość w posługiwaniu się standardowym zestawem narzędzi do obsługi danych (Pandas, NumPy, Jupyter). SQL jest zaletą.

• Analityczne nastawienie skupiające się na dowodach: wolisz mierzyć niż zakładać.

• Wyczucie produktu i empatia dla użytkowników końcowych. Będziesz tworzyć dla menedżerów ds. kontroli jakości i agentów wsparcia, a nie tylko dla testów porównawczych.

• Doskonała komunikacja pisemna i ustna. Będziesz prezentować ustalenia zespołowi i przyłączać się do rozmów z klientami.

• 0 do 2 lat doświadczenia w branży. Zachęcamy do aplikowania niedawnych absolwentów, którzy mają odpowiednią pracę.

• Gracz zespołowy, który czuje się komfortowo nosząc wiele kapeluszy. Jesteśmy firmą na wczesnym etapie rozwoju i sprawy toczą się szybko.

Dodatkowe punkty za:

• Doświadczenie z LangSmith lub podobnym narzędziem LLMOps/ewaluacyjnym

• Google Cloud Platform, BigQuery, Docker lub Kubernetes

• Przetwarzanie mowy/dźwięku lub ocena ASR

• Dostrajanie lub budowanie syntetycznych zbiorów danych dla LLM

Z kim będziesz pracować

Dołączysz do naszego zespołu AI (dwóch analityków danych, inżynier AI i inżynier ML) i będziesz ściśle współpracować z naszymi inżynierami danych, inżynierami frontendu, projektantem, menedżerem produktu i zespołami CX. Będziesz mieć mentoring od pierwszego dnia i szybko będziesz mieć prawdziwą własność.

Co z tego dla Ciebie?

• Biuro w sercu Amsterdamu z elastycznością pracy hybrydowej

• Sponsoring wizowy dostępny dla kwalifikujących się kandydatów

• Świetny sprzęt biurowy: MacBook, narzędzia, biurko, krzesło, cokolwiek potrzebujesz

• Elastyczny grafik pracy i otwarta polityka urlopowa

• Zabawne prace i wydarzenia zespołowe

• Jasna ścieżka rozwoju na stanowiska starszego analityka danych, inżyniera AI lub inżyniera ML

Znajdź więcej ofert pracy ze znajomością języka angielskiego w Holandii na Arbeitnow

Źródło: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/kaizo/data-scientist-amsterdam-342593)