Inżynier oprogramowania, percepcja i wizja

Nasza misja
W Laelaps AI wierzymy, że robotyka wkracza w transformacyjną dekadę, podobnie jak pojawienie się Internetu. Postępy w sztucznej inteligencji, przetwarzaniu w chmurze i sprzęcie zmieniają możliwości systemów autonomicznych. Naszą misją jest zbudowanie inteligentnego oprogramowania, które zapewnia bezpieczeństwo fizyczne w prawdziwym świecie, umożliwiając robotom i czujnikom wykonywanie niebezpiecznych i krytycznych zadań, których ludzie nie powinni wykonywać. Projektując warstwę orkiestracji inteligentnego bezpieczeństwa, naszym celem jest stworzenie bezpieczniejszego, bezpieczniejszego i bardziej odpornego świata.
Jesteśmy silnym zespołem założycielskim z siedzibą w Zurychu, wspieranym przez wizjonerskich inwestorów i doradców. Już dziś projektujemy przyszłość bezpieczeństwa!
Rola
Jako inżynier ds. wizji komputerowej będziesz budować i posiadać systemy percepcyjne stojące za naszym wieloczujnikowym systemem nadzoru i robotyką. To jest pierwsza rola konstruktora: zaczynasz od najlepszych dostępnych modeli, gotowych modeli tam, gdzie wykonują swoje zadanie i szkolisz się wewnętrznie, gdzie tego nie robią, i przekształcasz je w niezawodne systemy działające w czasie rzeczywistym, które wykrywają, śledzą i ponownie identyfikują obiekty za pomocą kamer i działają wydajnie na sprzęcie brzegowym. Mniej interesują nas nowatorskie artykuły, a bardziej to, czy to, co zbudujesz, działa w działającej witrynie i nadal działa.

Nad czym będziesz pracować

• Projektuj i wysyłaj międzykamerową reidentyfikację obiektów (ReID) dla ludzi i pojazdów w rozproszonych sieciach kamer, we wszystkich warunkach oświetleniowych i środowiskowych.

• Twórz wysokoprzepustowe potoki wykrywania obiektów i śledzenia wielu obiektów, które działają w wielu jednoczesnych strumieniach wideo.

• Integracja i adaptacja modeli wizualno-językowych (VLM) w celu wykrywania otwartego słownika, zrozumienia sceny i świadomości sytuacyjnej zwróconej w stronę operatora.

• Zarządzaj ścieżką pozyskiwania i przesyłania wideo (RTSP, WebRTC) z kamery do modelu, zwracając uwagę na opóźnienia, odporność i obsługę porzuconych klatek.

• Optymalizuj i wdrażaj modele na sprzęcie brzegowym: TensorRT, kwantyzacja (INT8/FP16), oczyszczanie i inne techniki umożliwiające osiągnięcie celów w czasie rzeczywistym na urządzeniach Jetson i urządzeniach brzegowych.

• Oceniaj, dostosowuj i integruj istniejące modele open source i modele komercyjne oraz trenuj modele niestandardowe, gdy standardowe opcje okażą się niewystarczające, wiedząc, kiedy każdy z nich jest właściwym wyborem.

• Ściśle współpracuj z zespołami zajmującymi się oprogramowaniem i robotyką, aby wyniki percepcji zapewniały dalszą autonomię i ostrzeganie.

Kogo szukamy
Poszukujemy silnego inżyniera, który wprowadził do produkcji systemy wizji komputerowej lub systemy ML, najlepiej w środowisku ucieleśnionym, z wieloma kamerami lub multimodalnymi. Myślisz rygorystycznie o danych, ocenie i miejscach, w których modele załamują się pod wpływem rzeczywistych ograniczeń. Z przyjemnością korzystasz z istniejącego, najnowocześniejszego modelu i wykonujesz nieelegancką pracę polegającą na uczynieniu go szybkim, niezawodnym i możliwym do wdrożenia na sprzęcie, a równie chętnie szkolisz się, gdy nic gotowe nie pasuje. Miarą sukcesu jest to, czy system działa na działającej stronie, a nie nowość.

Twoje tło:

• Udowodnione osiągnięcia w budowaniu i dostarczaniu systemów wizyjnych lub systemów uczenia maszynowego w produkcji (ponad 3 lata lub równoważny poziom).

• Dobra znajomość technik SOTA w zakresie ReID między kamerami, wykrywania obiektów i śledzenia wielu obiektów.

• Praktyczne doświadczenie z VLM i praktyczna znajomość aktualnego krajobrazu modeli.

• Solidne zrozumienie strumieniowania wideo w czasie rzeczywistym (RTSP, WebRTC) i realiów potoków wielostrumieniowych.

• Doświadczenie w przenoszeniu modeli od prototypu do wdrożenia na sprzęcie brzegowym: TensorRT, kwantyzacja, strojenie opóźnień.

• Dobra znajomość języka Python i PyTorch (lub JAX) z nastawieniem na konstruktora systemów: dostarczasz działające systemy, budujesz na SOTA i szkolisz własne, jeśli zajdzie taka potrzeba.

• Szeroka wiedza z zakresu ML wykraczająca poza wizję i solidna higiena inżynierii oprogramowania: kontrola wersji, odtwarzalność, dyscyplina oceny.

• Wysokie umiejętności w zakresie potoku danych: selekcja, czyszczenie, etykietowanie i zarządzanie dużymi zbiorami danych obrazów i wideo.

Miło mieć:

• Doświadczenie z NVIDIA DeepStream.

• Doświadczenie MLOps: wersjonowanie modeli, CI/CD dla ML, monitorowanie wdrożonych modeli w terenie.

• Znajomość rurociągów opartych na RAG i LLM oraz integracja ich w szerszy system.

• Doświadczenie w dziedzinie nadzoru, robotyki lub systemów krytycznych dla bezpieczeństwa/obrony, w tym wdrażanie lokalnie lub w przestrzeni powietrznej.

• Publikacje w najważniejszych miejscach (ICCV, CVPR, ICLR, NeurIPS) są plusem, ale nie są oczekiwane. Bardziej cenimy systemy dostarczane.

Co oferujemy

• Własność: jesteś pierwszym w kolejce do zbudowania i kierowania zespołem, który pomagasz zatrudnić.

• Misja: autonomiczne bezpieczeństwo zapewniające bezpieczeństwo ludziom i krytycznym obiektom, w tym w ramach obrony.

• Ścieżka kariery: siedziba na parterze z prawdziwym pasem startowym. Udowodnij swoją wartość, a nie będziesz mieć barier w rozwoju.

• Zespół: współpracuj bezpośrednio ze współzałożycielami ze stopniem doktora w dziedzinie sztucznej inteligencji, robotyki i fizyki, wraz z silnym (i zabawnym) zespołem założycielskim.

• Wynagrodzenie: Konkurencyjny pakiet kapitałowy/wynagrodzenie

• Kultura: mały, międzynarodowy zespół założycieli, który poważnie podchodzi do budowania, ale nie traktuje siebie zbyt poważnie.

Znajdź oferty pracy w Szwajcarii na Arbeitnow

Źródło: Arbeitnow (https://www.arbeitnow.ch/jobs/companies/laelaps/software-engineer-perception-vision-zurich-22080)