Starszy inżynier wnioskowania

Jako starszy inżynier ds. wnioskowania w vCluster Labs jesteś pierwszym inżynierem, którego zatrudniamy do samodzielnego wnioskowania. Będziesz współpracować bezpośrednio z naszym dyrektorem ds. technicznych, aby od podstaw zbudować warstwę wnioskowania platformy, pobierając modele i przekształcając je w potok klasy produkcyjnej od zapytania do odpowiedzi, działający na dużą skalę. Stamtąd pomożesz kierować inżynieryjnym kierunkiem wnioskowania w vCluster, współpracując z Product, aby kształtować to, co będziemy dalej budować w miarę ewolucji przestrzeni.

Jako starszy inżynier ds. wnioskowania Twoja rola będzie obejmować:

– Wdrażanie modeli do środowiska produkcyjnego: weź LLM i umieść je w środowisku produkcyjnym na jednej lub większej liczbie maszyn w infrastrukturze GPU, posiadając pełny potok od zapytania klienta do udostępnionej odpowiedzi.

– Struktury obsługi: Stwórz i obsługuj infrastrukturę obsługującą przy użyciu vLLM, SGLang lub TensorRT-LLM.

– Optymalizacja pod kątem skali: zastosuj kwantyzację, przetwarzanie wsadowe, buforowanie i routing, aby kontrolować opóźnienia i koszty w miarę wzrostu ruchu.

– Programowanie, a nie tylko konfigurowanie: Zbuduj prawdziwą infrastrukturę w Pythonie lub Golangu – jest to rola inżynierska, a nie badawcza czy związana z analityką danych.

– Posiadanie planu działania: Zbuduj pierwszą iterację wraz z naszym CTO, a następnie przejmij inicjatywę na platformie wnioskowania i współpracuj z produktem, aby zdecydować, co zbudujemy dalej.

Ta rola może być dla Ciebie odpowiednia, jeśli przyniesiesz:

– Doświadczenie w obsłudze produkcyjnego LLM: wdrożyłeś i obsługiwałeś LLM przy użyciu vLLM, SGLang lub TensorRT-LLM, najlepiej w firmie zbudowanej wokół wnioskowania na dużą skalę.

– Wiedza na temat optymalizacji wnioskowania: praktyczne doświadczenie z kwantyzacją, przetwarzaniem wsadowym, buforowaniem i routingiem, a nie tylko znajomość terminów.

– Praktyczne doświadczenie w programowaniu: silne umiejętności inżynieryjne w języku Python lub Golang, z prawdziwym doświadczeniem w kodzie produkcyjnym.

– Komunikacja: Silne umiejętności komunikacyjne, jasne wyjaśnianie koncepcji technicznych zarówno inżynierom, jak i interesariuszom nietechnicznym.

Dodatkowe punkty za:

– Znajomość środowisk kontenerowych (Docker, Kubernetes)

– Praktyczne doświadczenie w zakresie generatywnej sztucznej inteligencji ze wspólnymi frameworkami ML (PyTorch, Transformers)

– Dobra znajomość stosu GPU: CUDA, NCCL, sterowników i powiązanych bibliotek

– Znajomość architektur modeli i podejść do dostrajania

– Doświadczenie z NVIDIA Dynamo

O VCLUSTER LABS

Jesteśmy platformą nr 1 dla infrastruktury AI, której zaufali najszybciej rozwijający się twórcy chmur AI na świecie. Jesteśmy startupem wspieranym przez przedsięwzięcia typu venture, który pozyskał ponad 28 milionów dolarów od czołowych inwestorów, w tym Khosla Ventures (pierwszy inwestor w OpenAI, GitLab, Stripe i DoorDash), i jesteśmy w fazie hiperrozwoju, szukając zmotywowanych osób do dołączenia do naszego zespołu. Nasza siedziba znajduje się w San Francisco (Salesforce Tower), ale nasz zespół jest rozproszony po całym świecie i charakteryzuje się kulturą pracy zdalnej.

Zapewniamy dostawcom AI Cloud i fabrykom AI doświadczenie przypominające hiperskaler na ich własnej infrastrukturze GPU. Nasza platforma obsługuje pełny stos, jakiego potrzebuje operator, od udostępniania serwerów typu bare metal i zarządzania cyklem życia węzłów po zarządzane Kubernetes, Slurm, Ray i klastry wnioskowania, dzięki czemu mogą przekształcić surowe procesory graficzne w produkty klastrowe, które mogą sprzedać w ciągu kilku dni, zamiast spędzać ponad 12 miesięcy na ich budowaniu. Dziś zasilamy ponad 100 000 procesorów graficznych i 1 milion procesorów w ponad 50 chmurach AI i firmach z listy Fortune 500, wspieranych przez zespół ponad 40 inżynierów infrastruktury, którzy tworzą wspólnie z naszymi klientami, a nie tylko dostarczają im oprogramowanie.

Jesteśmy firmą stojącą za vCluster, technologią open source do izolacji najemców w Kubernetes, z ponad 11 000 gwiazdek GitHub i ponad 40 milionami klastrów najemców utworzonych od 2021 roku. Open source jest częścią naszego DNA. Na KubeCon North America 2025 uruchomiliśmy naszą platformę dzierżawy infrastruktury dla sztucznej inteligencji, natywną platformę Kubernetes zbudowaną do obsługi obciążeń AI, ML i GPU w dowolnym miejscu, z architekturą referencyjną zatwierdzoną przez firmę NVIDIA dla systemów DGX.

Korzyści

Oferujemy następujące korzyści:

– Konkurencyjne wynagrodzenie: Oferujemy konkurencyjny pakiet wynagrodzeń, w tym kapitał własny.

– Ubezpieczenie na poziomie Platinum: ubezpieczenie zdrowotne, dentystyczne, okulistyczne i na życie, obejmujące plany dla Ciebie i kwalifikujących się osób na Twoim utrzymaniu (świadczenia różnią się w zależności od kraju).

– Elastyczny harmonogram pracy: Masz wizytę u lekarza lub musisz udać się do supermarketu po zakupy o 14:00? Nie będziemy mieć z tym problemu. Dla nas wyniki są ważniejsze niż codzienne wchodzenie i wychodzenie z gry o tej samej porze.

– Elastyczność miejsca pracy: Jesteśmy bardzo elastyczni w kwestii miejsca pracy. Wiemy, że w życiu wiele może się zmienić, dlatego chętnie dostosujemy dla Ciebie środowisko pracy.

KULTURA I WARTOŚCI

W vCluster Labs cenimy i reprezentujemy:

1. Spraw, aby to się wydarzyło: Mamy nieustanną chęć działania i siłę, by pokonywać przeszkody. Robimy wszystko, co w naszej mocy, aby to rozgryźć, włożyć w to pracę i bezlitośnie nadać priorytet działaniom, które przynoszą wymierny wpływ na firmę.

2. Bądź właścicielem wyniku: Rozumiemy, że nasza odpowiedzialność nie kończy się w momencie zaznaczenia zadania; kończy się w momencie dostarczenia wartości. Nasze codzienne, indywidualne działania łączymy z szerszym sukcesem firmy i naszych klientów.

3. Stwórz efekt: Sukces mierzymy doświadczeniem, które generujemy, zarówno wewnątrz, jak i na zewnątrz firmy. Dla naszych klientów oznacza to imponującą szybkość i intuicyjność obsługi. Dla naszego zespołu oznacza to dokładanie wszelkich starań, aby wspierać się nawzajem i stale napędzać się na nowe wyżyny.

4. Open Source, Open Mind: Aktywnie uczestniczymy w projektach open source i je utrzymujemy. Wewnętrznie wspieramy merytokrację – wygrywają najsilniejsze pomysły, niezależnie od tego, skąd i od kogo pochodzą.

5. Świadomie buduj standardy jutra: nie tylko dostarczamy oprogramowanie; definiujemy state-of-the-art jutra. Nie boimy się burzyć starych podejść w celu zbudowania czegoś lepszego, ale zachowujemy dyscyplinę w sposobie, w jaki to robimy, ponieważ wiemy, że nasi użytkownicy polegają na naszej technologii przy obsłudze platform infrastruktury o znaczeniu krytycznym.

Źródło: Praca zdalna w UE (https://euremotejobs.com/job/senior-inference-engineer/)