Pracujący student - kwantyzacja i wydajność wnioskowania LLM

O Tensordyne (dawniej Recogni)

Sztuczna inteligencja zmienia nasz świat. Może wykonywać funkcje poznawcze, które wcześniej mogli wykonywać tylko ludzie, takie jak postrzeganie interakcji w różnych modalnościach i środowiskach, a także zdolność szybkiego uczenia się, a następnie rozwiązywania złożonych problemów. Tensordyne to firma zajmująca się rozwiązaniami systemowymi AI, która buduje bardzo wydajne systemy wnioskowania AI o niskim poborze mocy. Naszą misją, poprzez tworzenie niestandardowych układów krzemowych, sprzętu i oprogramowania, jest umożliwienie multimodalnego przyspieszania wnioskowania generatywnego AI na dużą skalę za pomocą bezpiecznych, zrównoważonych i wydajnych systemów dla naszych klientów korzystających z hiperskali i neocloudowych centrów danych. Jesteśmy liderem w zakresie postępów w zakresie najnowszych badań i udoskonaleń produktów w zakresie rozwiązań generatywnego wnioskowania Al, dzięki którym Al będzie jeszcze bardziej korzystny w nowych, atrakcyjnych zastosowaniach generatywnej sztucznej inteligencji.Tensordyne to dobrze finansowany, szybko rozwijający się start-up z siedzibami zarówno w Sunnyvale w Kalifornii, jak i w Monachium w Niemczech. Mamy także wielu utalentowanych członków zespołu pracujących zdalnie w Ameryce Północnej i Europie. Dbamy o naszych pracowników i ich rodziny, zapewniając kompleksowe świadczenia, konkurencyjne wynagrodzenie, elastyczne opcje wydatków i programy uznania, ponieważ budowanie technologii definiującej kategorię zaczyna się od zdrowego, wspieranego zespołu. Dołącz do nas i kształtuj przyszłość multimodalnej, generatywnej sztucznej inteligencji!

Podsumowanie roli

Ile precyzji numerycznej potrzebuje LLM i gdzie w architekturze modelu ma to największe znaczenie? Kiedy kwantyzacja poprawia czas działania i jaki ma to wpływ na jakość modelu?

Poszukujemy zmotywowanego, pracującego studenta, który pomoże przekształcić te pytania w eksperymenty, a eksperymenty w możliwy do utrzymania kod. Poznasz metody optymalizacji i zbudujesz narzędzia ewaluacyjne wielokrotnego użytku. Będziesz ściśle współpracować z naszymi inżynierami ds. kwantyzacji, kompilatorów i środowiska wykonawczego, a Twoje ustalenia będą miały bezpośredni wpływ na sposób, w jaki optymalizujemy modele pod kątem sprzętu Tensordyne.

Co zrobisz

• Ocena jakości modelu: Zmierz wpływ obliczeń o niskiej precyzji na wydajność w testach porównawczych kodowania i wnioskowania. Zdiagnozuj, gdzie kwantyzacja ma największy wpływ.

• Badania kwantyzacji: wdrażanie i porównywanie metod kwantyzacji po szkoleniu w celu poprawy wydajności wnioskowania przy jednoczesnym zachowaniu dokładności zadania.

• Twórz powtarzalne narzędzia: automatyzuj oceny, śledź konfiguracje i wyniki oraz udostępniaj eksperymenty inżynierom i agentom AI.

• Zmierz wydajność środowiska wykonawczego: scharakteryzuj opóźnienia, przepustowość i wykorzystanie pamięci, aby zrozumieć wąskie gardła w różnych scenariuszach wdrażania.

Pierwszy projekt mógłby obejmować zbadanie granicy Pareto między jakością a wydajnością modelu Qwen lub LlaMa. Będziesz eksperymentować z 16-bitowymi, 8-bitowymi i 4-bitowymi konfiguracjami kwantyzacji, aby znaleźć najlepszy kompromis w zakresie jakości środowiska wykonawczego.

Podstawowe kwalifikacje

• Bieżące uczestnictwo w informatyce, matematyce, elektrotechnice, uczeniu maszynowym lub pokrewnym programie studiów magisterskich.

• Dobre umiejętności w zakresie Pythona i PyTorcha, w tym umiejętność zrozumienia i modyfikowania implementacji modeli.

• Efektywne wykorzystanie narzędzi do kodowania AI i krytyczny przegląd ich wyników.

• Eksperymentalny sposób myślenia: możesz formułować hipotezy, projektować porównania i wyciągać ostrożne wnioski z zaszumionych wyników.

• Jasna komunikacja i umiejętność przedstawiania zespołowi wyników eksperymentów i kompromisów technicznych.

Mocne plusy: doświadczenie z kwantyzacją, oceną LLM, profilowaniem wydajności lub optymalizacją wnioskowania.

Ta rola jest dla Ciebie, jeśli lubisz odpowiedzialność, szybko się uczysz i jesteś z natury proaktywny.

Co oferujemy

Dołącz do zespołu zaawansowanych technologii tworzącego następną generację systemów wnioskowania AI. Wykorzystaj swoją wiedzę uniwersytecką w praktyce dzięki wiodącym programom LLM typu open source, pogłębij wiedzę na temat kwantyzacji i optymalizacji wnioskowania oraz rozwijaj umiejętności w zakresie projektowania eksperymentalnego, inżynierii oprogramowania i narzędzi do kodowania AI. Będziesz właścicielem konkretnego projektu, otrzymasz ścisłą opiekę mentorską od doświadczonych inżynierów i będziesz mieć przestrzeń do odkrywania pomysłów, które kształtują nasze metody optymalizacji.

Kultura Tensordyne została zbudowana na następujących wartościach

• Stawiaj ludzi na pierwszym miejscu. Odniesiemy sukces tylko wtedy, gdy nasi ludzie odniosą sukces.

• Zawsze etyka i uczciwość. Bądź otwarty, szczery i pełen szacunku dla wszystkich.

• Myśl na szeroką skalę. Bądź ambitny i miej śmiałe cele.

• Dąż do doskonałości. Jakość i doskonałość liczą się we wszystkim, co robimy.

• Posiadaj to i zrób to. Wyniki mają znaczenie!

• Spraw, aby każda osoba była lepsza razem, niż byłaby jako jednostka.

• Akceptujcie różnice między sobą i przyjmijcie, że różnice będą.

Tensordyne jest pracodawcą zapewniającym równe szanse. Wierzymy, że zróżnicowane zespoły są lepiej przygotowane do rozwiązywania złożonych problemów i tworzenia wyjątkowych technologii. Wszyscy wykwalifikowani kandydaci otrzymają wynagrodzenie za zatrudnienie bez względu na wiek, kolor skóry, tożsamość lub ekspresję płciową, stan cywilny, pochodzenie narodowe, niepełnosprawność, chroniony status weterana, rasę, religię, ciążę, orientację seksualną lub jakąkolwiek inną cechę chronioną przez obowiązujące przepisy, regulacje i rozporządzenia.

Uwaga dla agencji rekrutacyjnych: Prosimy nie kontaktować się z pracownikami ani liderami Tensordyne w sprawie tej roli. Nie przyjmujemy niezamówionych życiorysów agencji i nie ponosimy odpowiedzialności za opłaty związane z niezamówionymi zgłoszeniami.

Znajdź oferty pracy w Niemczech na Arbeitnow

Źródło: Arbeitnow (https://www.arbeitnow.com/jobs/companies/tensordyne/working-student-llm-quantization-inference- Performance-munich-124483)