Inżynier ds. ewaluacji, sztuczna inteligencja stosowana

O Mistralu
Mistral zapewnia kompleksowe rozwiązania AI: od modeli pionierskich po narzędzia programistyczne, aplikacje i obliczenia. Współpracujemy z przedsiębiorstwami zmagającymi się z najtrudniejszymi problemami w branżach wymagających wysokich stawek, takich jak finanse, produkcja, obrona, opieka zdrowotna i sektor publiczny, współtworząc dostosowane do potrzeb systemy sztucznej inteligencji, które mogą uruchamiać na ich warunkach.
Jesteśmy dynamicznym, współpracującym zespołem pasjonującym się sztuczną inteligencją i jej potencjałem do przekształcania społeczeństwa. Nasza zróżnicowana kadra świetnie radzi sobie w konkurencyjnym środowisku i jest zaangażowana we wprowadzanie innowacji. Nasze zespoły są rozmieszczone w Europie, Ameryce Północnej, Azji i na Bliskim Wschodzie. Jesteśmy kreatywni, mamy niskie ego i jesteśmy duchem zespołowym.

Rola
Jako inżynier ds. oceny w zespole Applied AI będziesz kształtować sposób, w jaki klienci korporacyjni oceniają rozwiązania AI i ufają im. Będziesz ściśle współpracować z klientami i wewnętrznymi interesariuszami, aby dostarczać systemy oceny, które określają, kiedy model sztucznej inteligencji jest gotowy do wywarcia rzeczywistego wpływu na biznes. Misją zespołu jest zapewnienie, że każdy projekt – niezależnie od tego, jak ambitny – przejdzie od pomysłu do produkcji w sposób przejrzysty i odpowiedzialny. Twoja praca będzie dotyczyć badań, inżynierii i rozwiązań, bezpośrednio wpływając na sposób ulepszania i wdrażania modeli w różnych dziedzinach.

Co zrobisz

• Projektuj i wdrażaj kompleksowe struktury do oceny wydajności modelu dużego języka (LLM) w różnych przypadkach użycia przez klientów

• Buduj i utrzymuj skalowalną infrastrukturę i potoki oceny w celu szybkiej i powtarzalnej oceny

• Opracować nowe metody oceny możliwości specyficznych dla sektora lub pojawiających się modeli

• Współpracuj z klientami w celu tworzenia niestandardowych pakietów ewaluacyjnych, które odpowiadają ich unikalnym potrzebom i kryteriom

• Współpracuj z zespołami badawczymi, aby przekształcić spostrzeżenia z oceny w praktyczne ulepszenia modelu

• Współpracuj z zespołami ds. produktów w celu udoskonalenia narzędzi oceny w oparciu o opinie użytkowników

• Zdefiniuj i przekaż jasne wskaźniki sukcesu dla modeli AI „gotowych do produkcji”.

Czego szukamy

• Co najmniej 3 lata doświadczenia w ocenie systemów ML, LLM lub systemów agentowych

• Udokumentowane doświadczenie we wdrażaniu produktów AI lub uczenia maszynowego, zwłaszcza z interfejsami API lub systemami zaplecza

• Silne umiejętności kodowania w języku Python

• Głębokie zrozumienie koncepcji i algorytmów uczenia maszynowego, szczególnie w odniesieniu do LLM

• Doświadczenie w jasnym komunikowaniu tematów technicznych odbiorcom technicznym i nietechnicznym

• Znajomość ram ewaluacyjnych, takich jak LM Eval Harness lub OpenAI Evals, lub wkład w powiązane projekty open source

• Doświadczenie w pracy z bibliotekami ML (np. PyTorch, HuggingFace Transformers)

• Współpracujący, bezpośredni komunikator, który ceni wyniki i pracę zespołową o niskim ego

Co oferujemy
Oferujemy kompleksowy pakiet świadczeń zaprojektowany z myślą o wspieraniu Twojego dobrego samopoczucia, rozwoju i równowagi między życiem zawodowym a prywatnym. Świadczenia różnią się w zależności od kraju i mogą obejmować opiekę zdrowotną, urlop rodzicielski, plany emerytalne, wsparcie w przeprowadzce, programy odnowy biologicznej, dodatki na posiłki i transport oraz inne dodatki zależne od lokalizacji.
Najbardziej aktualne informacje na temat świadczeń dostępnych w Twojej lokalizacji można znaleźć na naszej stronie Korzyści .

Polityka prywatności
Twoja prywatność jest dla nas ważna. Możesz dowiedzieć się więcej o tym, jak postępujemy z Twoimi danymi osobowymi w naszej Polityce prywatności kandydatów.
Znajdź więcej anglojęzycznych ofert pracy we Francji na Arbeitnow

Źródło: Arbeitnow (https://www.arbeitnow.fr/jobs/companies/mistralai/evaluation-engineer-applied-ai-paris-96814)