Starszy inżynier oprogramowania — operacje i oceny LLM

Każde wywołanie sztucznej inteligencji w DataSnipper przechodzi przez nas. Zespoły produktowe nie rozmawiają bezpośrednio z dostawcami modeli, rozmawiają z naszą bramą. Jesteśmy odpowiedzialni za sposób kierowania wnioskowania, jego przełączanie awaryjne, ile to kosztuje i w jaki sposób każdy może stwierdzić, czy wynik jest dobry.
Druga połowa pracy to ocena. Tworzymy platformę, której zespoły używają do pomiaru jakości sztucznej inteligencji: wersjonowane zbiory danych, śledzenie eksperymentów i przebiegi ewaluacyjne, na których mogą podejmować działania. Jest to problem trudny i w dużej mierze otwarty, dlatego będziesz miał realny wpływ na to, jak go rozwiążemy.
To mały zespół o dużym promieniu rażenia. Będziesz właścicielem prawdziwych systemów produkcyjnych, ustalisz standardy, według których pracują inne zespoły, i zobaczysz swoją pracę przed setkami tysięcy użytkowników zajmujących się audytem i finansami.

O DataSnipperze
Audyt i finanse są nadal w dużej mierze prowadzone ręcznie i zmieniamy to. DataSnipper to jednorożec o wartości 1 miliarda dolarów, ładowany metodą startową, z ponad 600 000 użytkowników w ponad 180 krajach, już wbudowany w codzienne przepływy pracy najlepszych firm audytorskich i księgowych.
Teraz idziemy dalej, korzystając z naszego agenta Excel, wprowadzając sztuczną inteligencję bezpośrednio tam, gdzie faktycznie odbywa się praca. W odróżnieniu od generycznych narzędzi AI, nie stoimy z boku. Nasza sztuczna inteligencja działa w programie Excel i ma dostęp do prawdziwych dokumentów i dowodów kontroli, co oznacza, że ​​nie tylko generuje odpowiedzi, ale wykonuje pracę z pełną identyfikowalnością.
Nie tylko stosujemy sztuczną inteligencję, ale na nowo definiujemy sposób przeprowadzania audytu. Jeśli chcesz zbudować coś definiującego kategorię na dużą skalę, to jest to miejsce.

Co zrobisz
Dostawa techniczna

• Posiadaj bramę LLM: routing, przełączanie awaryjne dostawcy, limity szybkości, ponowne próby i alokacja kosztów pomiędzy wieloma dostawcami modeli

• Wdrażaj, wersjonuj i wycofuj modele w chmurach, regionach i środowiskach, w tym planowanie przydziałów i pojemności, zarządzane jako infrastruktura jako kod

• Zbuduj wspólną platformę ewaluacyjną: wersjonowane zestawy danych, śledzenie eksperymentów, schematy przebiegu i wyników, raportowanie i śledzenie powiązania z przebiegiem

• Posiadaj infrastrukturę do obsługi asynchronicznych i długotrwałych obciążeń AI

Niezawodność, bezpieczeństwo i dostępność na wezwanie

• Własna obserwowalność ruchu AI: opóźnienia, ponowne próby i awarie, użycie tokena, koszty i błędy, na zespół i na przypadek użycia

• Weź udział w rotacji dyżurów, prowadź incydenty i zamykaj działania następcze

• Wdrożyć mechanizmy kontroli bezpieczeństwa i zgodności, do których zobowiązana jest platforma: przechowywanie, kontrola dostępu, RBAC i SSO

Współpraca i wpływ

• Definiuj i utrzymuj czyste umowy integracyjne pomiędzy platformą a zespołami, które z niej korzystają

• Współpracuj z inżynierami ds. produktów i uczenia maszynowego, aby przekształcić ich wymagania w możliwości platformy, które działają samoobsługowo, a nie w kolejce żądań

Co przyniesiesz
Niezbędne

• Ponad 5 lat w inżynierii backendu lub platformy, z dobrym językiem produkcyjnym w języku Python

• Doświadczenie w budowaniu lub prowadzeniu infrastruktury wnioskowania LLM: warstwa bramy lub routingu z wieloma dostawcami, przełączanie awaryjne, ograniczanie szybkości i atrybucja kosztów

• Doświadczenie z chmurą na poziomie infrastruktury i infrastrukturą jako kod (działamy na platformie Azure i GCP z Terraform)

• Doświadczenie w prowadzeniu wspólnych usług na produkcji: dyżury, incydenty, sekcje zwłok, SLO

• Praktyczne doświadczenie z narzędziami obserwowalności (OpenTelemetry, Grafana), w tym usługami instrumentacji oraz projektowaniem dashboardów i alertów

• Komfort w pracy związanej z prywatnością i zgodnością: obsługa danych osobowych, anonimizacja, przechowywanie, kontrola dostępu

• Doświadczenie w budowaniu platformy lub możliwości usług wspólnych, z których korzysta wiele wewnętrznych zespołów

Miło to mieć

• Doświadczenie w LLM lub ocenie agentów

• Tymczasowy lub inny trwały silnik przepływu pracy

• Wnioskowanie na własnym serwerze, planowanie wydajności, testowanie obciążenia

• Potoki anonimizacji danych syntetycznych lub dokumentów

• Dokumentowa sztuczna inteligencja: VLM, OCR, ekstrakcja strukturalna i związane z tym metryki

• Doświadczenie dziedzinowe w audycie, księgowości lub fintech

Czego oczekujemy

• Własność: Jesteś właścicielem pracy od początku do końca, przewidujesz problemy i zapewniasz wysoką jakość dostaw bez ścisłego nadzoru

• Nastawienie na rozwój: zachęcasz do otwartej wymiany informacji zwrotnych i przekazujesz jasne, zrównoważone informacje zwrotne, które pomagają innym się rozwijać

• Współpraca: budujesz silne relacje międzyfunkcyjne i wywierasz wpływ na rówieśników poprzez wiedzę specjalistyczną, dane i empatię

• Zdolność do adaptacji: Spokojnie radzisz sobie z niejednoznacznością, modelujesz pozytywne zachowanie i pomagasz rówieśnikom dostosować się poprzez jasną komunikację

• Ocenianie: W niejednoznacznych sytuacjach potrafisz rozsądnie ocenić sytuację, zachować równowagę między szybkością a dokładnością oraz aktywnie dostosować priorytety

Etapy rekrutacji

• Ekran rekrutera

• Rozmowa kwalifikacyjna z menadżerem ds. rekrutacji

• Sesja programowania równorzędnego

• Wywiad dotyczący projektu systemu

• Końcowe wywiady z kierownictwem inżynieryjnym

Znajdź oferty pracy w Holandii na Arbeitnow

Źródło: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/datasnipper/senior-software-engineer-llm-ops-evals-amsterdam-323046)