Główny inżynier, platforma AI

O nas

Circle buduje wiodącą na świecie uniwersalną platformę dla firm cyfrowych opartą na sztucznej inteligencji. Umożliwiamy twórcom, trenerom, nauczycielom i firmom gromadzenie odbiorców dzięki angażującym dyskusjom, transmisjom na żywo, wydarzeniom, czatom, kursom i płatnościom, a wszystko to w jednym miejscu i pod własną marką.

Jesteśmy dumni, że jesteśmy w pełni zdalną firmą, zatrudniającą około 270 (i ciągle rosnącą!) członków zespołu z ponad 30 krajów na całym świecie. Poszukujemy wyjątkowych osób na całym świecie, przygotowujemy je do wykonania najlepszej pracy w ich życiu, a co za tym idzie, wywieramy znaczący wpływ na ich własne życie. Nie monitorujemy godzin, ale bardzo dokładnie radzimy sobie z wysokimi oczekiwaniami. Współpracujemy w różnych strefach czasowych, jesteśmy wysoce asynchroniczni i lubimy dużo dokumentować.

Dwa razy do roku gromadzimy całą firmę w pięknych miejscach na całym świecie, poza siedzibą naszej firmy. Do tej pory gościliśmy w lokalizacjach zewnętrznych w Turcji, Portugalii, Meksyku, Tajlandii, Kolumbii, Włoszech, Irlandii i nie tylko, a przed nami jeszcze więcej!

Sprawdź naszą stronę Kariera, aby dowiedzieć się więcej o pracy w Circle.

O roli

Zespół inżynierów AI Quality w Circle jest właścicielem podstaw do pomiaru, diagnozowania i ulepszania jakości funkcji Circle opartych na sztucznej inteligencji. Zespół ten koncentruje się na budowaniu infrastruktury do pomiaru, diagnozowania i ulepszania produkcyjnych systemów AI, a nie na badaniach ML lub szkoleniu modelowym.

Poszukujemy głównego inżyniera, który pomoże nam w opracowaniu ram oceny, narzędzi umożliwiających obserwację i infrastruktury diagnostycznej, które powiedzą nam, czy nasi agenci AI działają dobrze, gdzie można je ulepszyć oraz jak sprawić, by działali szybciej i bardziej opłacalnie.

Jest to praktyczna rola zawodnika-trenera. Będziesz także kierować zespołem inżynierów ds. jakości AI i zarządzać nim, mając ambitny i rozwijający się plan działania.

Jeśli ekscytuje Cię możliwość niezawodnego, wydajnego i skalowalnego działania systemów sztucznej inteligencji, to jest to coś dla Ciebie.

Co będziesz robić

• Zbuduj i posiadaj naszą infrastrukturę ewaluacyjną. Zaprojektuj potoki CI/CD, narzędzia punktacyjne i zbiory danych, które powiedzą nam, czy agenci sztucznej inteligencji Circle (planiści, osoby odpowiedzialne za wywoływanie narzędzi i podagenci) faktycznie działają, od pojedynczego wywołania narzędzia po pełną, wieloobrotową rozmowę.

• Zdiagnozuj dokładnie, gdzie następuje pogorszenie jakości. Śledź awarie w całym potoku agenta, w tym tworzenie i wykonanie planu, wybór narzędzi, trajektorię narzędzia w złożonych obszarach, takich jak przepływy pracy, narzędzie do tworzenia witryn i analizy. Zamień to, co znajdziesz w prototypy, które rozwiążą problem lub określą priorytety dla podstawowej inżynierii AI.

• Rozwijaj zbiory danych umożliwiające ocenę. Ustanawiaj przepływ pracy z adnotacjami i twórz generowane przez sztuczną inteligencję i symulowane rozmowy, abyśmy mogli omówić większą część produktu szybciej niż samo ręczne etykietowanie.

• Przeprowadzaj ustrukturyzowane eksperymenty na podpowiedziach, modelach i wiązce agentów. Oceniaj nowe modele i modele o otwartym kodzie źródłowym w porównaniu z naszą linią bazową produkcji, twórz platformę, której używamy do decydowania o tym, kiedy zmienić modele, i dąż do zwycięstwa pod względem kosztów i opóźnień poprzez zamianę modeli, buforowanie i routing według złożoności planu.

• Kieruj i rozwijaj zespół inżynierów AI Quality. Wyznaczaj kierunek techniczny i zarządzaj codziennymi priorytetami, jednocześnie samodzielnie pracując nad kodem.

• Ściśle współpracuj z inżynierią AI Core. Współpracuj z inżynierami tworzącymi produkty AI firmy Circle, aby mieli prawdziwą pewność, że wprowadzone przez nich zmiany faktycznie poprawiają jakość, a nie tylko wysyłkę.

Czego potrzebujesz, aby odnieść sukces

• Ponad 7 lat doświadczenia w tworzeniu i wysyłaniu oprogramowania produkcyjnego, najlepiej obejmującego agentów korzystających z LLM, którzy podejmują rzeczywiste działania w produkcie. Pracowałeś nad złożonymi systemami wykorzystującymi narzędzia (wiele narzędzi, planowanie lub orkiestracja, podagenci), a nie tylko prostymi asystentami działającymi w jednej turze, i możesz przeprowadzić nas przez coś, co dostarczyłeś i skąd wiedziałeś, że to faktycznie działa.

• Dobrze znasz Ruby on Rails / Python lub możesz szybko je opanować. Ruby on Rails to nasz system produkcyjny i podstawa, na której zbudowani są agenci AI Circle, a biegłość w języku Python jest mocnym plusem, szczególnie w przypadku strony związanej z danymi i ewaluacją.

• Doświadczenie w budowaniu infrastruktury oceny lub obserwowalności dla systemów ML/AI. Tworzyłeś już potoki ewaluacyjne, scoringery, dashboardy lub CI/CD dla evals i masz doświadczenie ze frameworkami ewaluacyjnymi, takimi jak Braintrust, LangSmith lub podobnymi.

• Doświadczenie w projektowaniu zbiorów danych, przepływów pracy z adnotacjami lub potoków etykietowania na potrzeby oceny ML/AI. Wiesz, jak zamienić surowe przykłady w zbiór danych, któremu możesz zaufać, poprzez adnotacje wykonane przez człowieka, dane wygenerowane przez sztuczną inteligencję lub symulację.

• Ucz się szybko, agresywnie eksperymentuj i rozwijaj się w bardzo dynamicznym środowisku. Musisz czuć się komfortowo przeprowadzając wiele eksperymentów i pozwalając, aby wyniki rozstrzygnęły spór, łącznie z tymi, które nie działają (a będzie ich wiele na początku).

• Komfort w dynamicznym i niejednoznacznym środowisku. Będziesz musiał uczyć się i poznawać nowe technologie, gdy wymagają tego projekty.

• Silne zgodność z wartościami naszej firmy.

• Biegle posługujesz się językiem angielskim (w mowie, piśmie i czytaniu) na poziomie CEFR C2 / ILR na poziomie 5.

Wynagrodzenia i świadczenia

Circle oferuje globalne wynagrodzenie na poziomie wzorcowym w USA, kapitał własny w firmie z bieżącymi dotacjami na odświeżanie oraz 35 dni płatnego urlopu każdego roku.

Jesteśmy zdalnym zespołem, który spotyka się dwa razy w roku na firmowych rekolekcjach w niesamowitych miejscach na całym świecie. Oprócz niesamowitej elastyczności i autonomii oferujemy pakiet świadczeń, który wspiera zdrowie, dobre samopoczucie i rozwój zawodowy. Dowiedz się więcej w naszym Centrum Kandydatów.

Źródło: Jobspresso (https://jobspresso.co/job/lead-engineer-ai-platform/)