Praca
Z kanału partnera
Inżynier uczenia maszynowego, op
Cena na życzenie
Szczegóły
- Typ zatrudnienia
- Pełny etat
- Zdalnie
- Tak
- Firma
- Cantina Labs
- Poziom
- Any
Opis
Automatyczne tłumaczenie z języka English. Oryginał jest wiążący. Tłumaczenie maszynowe — trwają prace nad dokładniejszą wersją.
O Cantinie:
Cantina Labs to społeczna firma zajmująca się sztuczną inteligencją, opracowująca zestaw zaawansowanych modeli działających w czasie rzeczywistym, które przesuwają granice ekspresji, osobowości i realizmu. Ożywiamy postacie, zmieniając sposób, w jaki ludzie opowiadają historie, łączą się i tworzą. Budujemy i zasilamy ekosystemy. Cantina, nasza flagowa platforma społecznościowa AI, to dopiero początek.
Jeśli ekscytuje Cię potencjał sztucznej inteligencji, który może kształtować ludzką kreatywność i interakcje społeczne, dołącz do nas w budowaniu przyszłości!
O roli:
Poszukujemy inżyniera ML, który będzie właścicielem stosu wnioskowania produkcyjnego dla naszych modeli przetwarzania tekstu na mowę (TTS) i rozpoznawania mowy (ASR). Nasz zespół badawczy dostarcza przeszkolone punkty kontrolne modelu; wyprodukujesz je jako usługi przesyłania strumieniowego w czasie rzeczywistym o niskim opóźnieniu, które działają ekonomicznie na procesorach graficznych. Rola ta obejmuje silniki wnioskowania, infrastrukturę Kubernetes, na której działają, oraz testy porównawcze wydajności i weryfikację dokładności, które pozwalają nam bezpiecznie wprowadzać zmiany. Połączysz badania i produkcję oraz będziesz mieć własne opóźnienia, przepustowość, koszty i dokładność w miarę skalowania.
Co zrobisz:
•
Twórz i optymalizuj silniki wnioskowania strumieniowego dla modeli TTS i ASR, w tym potoki modeli wieloetapowych.
•
Optymalizuj opóźnienia (czas do pierwszego fragmentu, p50/p99) i przepustowość, korzystając z ciągłego przetwarzania wsadowego, wykresów CUDA, torch.compile i mieszanej precyzji.
•
Zachowaj zgodność numeryczną z implementacją referencyjną poprzez zautomatyzowane testy regresji dokładności, na każdym etapie i od początku do końca.
•
Wdrażaj i obsługuj usługi wnioskowania GPU na platformie Kubernetes: automatyczne skalowanie, konteneryzacja i infrastruktura w postaci kodu.
•
Twórz CI/CD dla artefaktów modelu, korzystając z wersjonowania modelu i powtarzalnych wydań.
•
Własna obserwowalność i testy porównawcze wydajności: opóźnienie p50/p99, współczynnik czasu rzeczywistego (RTF), wykorzystanie procesora graficznego i koszt żądania.
•
Współpracuj z badaniami, aby produkować nowe modele.
Co przyniesiesz:
•
Praktyczne doświadczenie we wdrażaniu, skalowaniu i optymalizacji modeli ML w środowisku produkcyjnym, wykraczającym poza korzystanie z interfejsów API modeli.
•
Praktyczna wiedza na temat pełnego stosu wnioskowania, od jąder CUDA po obsługujące frameworki, z głębokością w niektórych warstwach; nie oczekuje się specjalistycznej wiedzy w zakresie wszystkich z nich.
•
Optymalizacja wydajności GPU: profilowanie (Nsight Systems, PyTorch Profiler), przepustowość pamięci, synchronizacja CPU-GPU.
•
Solidne zrozumienie obsługi modelu: ciągłe przetwarzanie wsadowe, zarządzanie pamięcią podręczną KV, planowanie żądań.
•
Doświadczenie produkcyjne z Kubernetes, CI/CD i infrastrukturą chmurową.
•
Silny Python i PyTorch oraz rygorystyczne podejście do benchmarkingu wydajności.
•
Doświadczenie z modelami mowy lub dźwięku (TTS, ASR, konwersja głosu).
•
Doświadczenie w pracy ze frameworkami wnioskowania, takimi jak vLLM (vLLM-Omni), SGLang, TensorRT-LLM, TensorRT lub Triton Inference Server.
Kompensacja:
Przy ustalaniu wynagrodzenia bierze się pod uwagę szereg czynników, w tym umiejętności, doświadczenie, zakres stanowiska, lokalizację i dane dotyczące konkurencyjnego rynku wynagrodzeń.
Korzyści dla stanowisk zlokalizowanych w USA:
•
Konkurencyjne wynagrodzenie i wysoki kapitał zakładowy
•
Ubezpieczenie medyczne, stomatologiczne i okulistyczne – 99,99% składek pokrywanych przez Cantina
•
42 dni płatnego urlopu, w tym:
•
15 dni PTO
•
10 dni chorobowych
•
15 dni wolnych od pracy
•
2 pływające wakacje
•
Hojny urlop rodzicielski i wsparcie płodności
•
401(k) plan oszczędności emerytalnych
•
Konto wydatków związanych ze stylem życia – 500 USD miesięcznie do wykorzystania w dowolny sposób
•
Bezpłatny lunch i przekąski dla pracowników biura
•
Jedno członkostwo medyczne i nie tylko!
Źródło: Jobicy (https://jobicy.com/jobs/160996-machine-learning-engineer-ops)
Cantina Labs to społeczna firma zajmująca się sztuczną inteligencją, opracowująca zestaw zaawansowanych modeli działających w czasie rzeczywistym, które przesuwają granice ekspresji, osobowości i realizmu. Ożywiamy postacie, zmieniając sposób, w jaki ludzie opowiadają historie, łączą się i tworzą. Budujemy i zasilamy ekosystemy. Cantina, nasza flagowa platforma społecznościowa AI, to dopiero początek.
Jeśli ekscytuje Cię potencjał sztucznej inteligencji, który może kształtować ludzką kreatywność i interakcje społeczne, dołącz do nas w budowaniu przyszłości!
O roli:
Poszukujemy inżyniera ML, który będzie właścicielem stosu wnioskowania produkcyjnego dla naszych modeli przetwarzania tekstu na mowę (TTS) i rozpoznawania mowy (ASR). Nasz zespół badawczy dostarcza przeszkolone punkty kontrolne modelu; wyprodukujesz je jako usługi przesyłania strumieniowego w czasie rzeczywistym o niskim opóźnieniu, które działają ekonomicznie na procesorach graficznych. Rola ta obejmuje silniki wnioskowania, infrastrukturę Kubernetes, na której działają, oraz testy porównawcze wydajności i weryfikację dokładności, które pozwalają nam bezpiecznie wprowadzać zmiany. Połączysz badania i produkcję oraz będziesz mieć własne opóźnienia, przepustowość, koszty i dokładność w miarę skalowania.
Co zrobisz:
•
Twórz i optymalizuj silniki wnioskowania strumieniowego dla modeli TTS i ASR, w tym potoki modeli wieloetapowych.
•
Optymalizuj opóźnienia (czas do pierwszego fragmentu, p50/p99) i przepustowość, korzystając z ciągłego przetwarzania wsadowego, wykresów CUDA, torch.compile i mieszanej precyzji.
•
Zachowaj zgodność numeryczną z implementacją referencyjną poprzez zautomatyzowane testy regresji dokładności, na każdym etapie i od początku do końca.
•
Wdrażaj i obsługuj usługi wnioskowania GPU na platformie Kubernetes: automatyczne skalowanie, konteneryzacja i infrastruktura w postaci kodu.
•
Twórz CI/CD dla artefaktów modelu, korzystając z wersjonowania modelu i powtarzalnych wydań.
•
Własna obserwowalność i testy porównawcze wydajności: opóźnienie p50/p99, współczynnik czasu rzeczywistego (RTF), wykorzystanie procesora graficznego i koszt żądania.
•
Współpracuj z badaniami, aby produkować nowe modele.
Co przyniesiesz:
•
Praktyczne doświadczenie we wdrażaniu, skalowaniu i optymalizacji modeli ML w środowisku produkcyjnym, wykraczającym poza korzystanie z interfejsów API modeli.
•
Praktyczna wiedza na temat pełnego stosu wnioskowania, od jąder CUDA po obsługujące frameworki, z głębokością w niektórych warstwach; nie oczekuje się specjalistycznej wiedzy w zakresie wszystkich z nich.
•
Optymalizacja wydajności GPU: profilowanie (Nsight Systems, PyTorch Profiler), przepustowość pamięci, synchronizacja CPU-GPU.
•
Solidne zrozumienie obsługi modelu: ciągłe przetwarzanie wsadowe, zarządzanie pamięcią podręczną KV, planowanie żądań.
•
Doświadczenie produkcyjne z Kubernetes, CI/CD i infrastrukturą chmurową.
•
Silny Python i PyTorch oraz rygorystyczne podejście do benchmarkingu wydajności.
•
Doświadczenie z modelami mowy lub dźwięku (TTS, ASR, konwersja głosu).
•
Doświadczenie w pracy ze frameworkami wnioskowania, takimi jak vLLM (vLLM-Omni), SGLang, TensorRT-LLM, TensorRT lub Triton Inference Server.
Kompensacja:
Przy ustalaniu wynagrodzenia bierze się pod uwagę szereg czynników, w tym umiejętności, doświadczenie, zakres stanowiska, lokalizację i dane dotyczące konkurencyjnego rynku wynagrodzeń.
Korzyści dla stanowisk zlokalizowanych w USA:
•
Konkurencyjne wynagrodzenie i wysoki kapitał zakładowy
•
Ubezpieczenie medyczne, stomatologiczne i okulistyczne – 99,99% składek pokrywanych przez Cantina
•
42 dni płatnego urlopu, w tym:
•
15 dni PTO
•
10 dni chorobowych
•
15 dni wolnych od pracy
•
2 pływające wakacje
•
Hojny urlop rodzicielski i wsparcie płodności
•
401(k) plan oszczędności emerytalnych
•
Konto wydatków związanych ze stylem życia – 500 USD miesięcznie do wykorzystania w dowolny sposób
•
Bezpłatny lunch i przekąski dla pracowników biura
•
Jedno członkostwo medyczne i nie tylko!
Źródło: Jobicy (https://jobicy.com/jobs/160996-machine-learning-engineer-ops)
To ogłoszenie pochodzi z feedu partnera. Aplikuj na stronie źródłowej.
Źródło: Cantina Labs
Ogłoszenie pochodzi od Cantina Labs.