Inżynier oprogramowania, silnik wiedzy – silnik zapytań

Exa to laboratorium stosowanej sztucznej inteligencji, które tworzy wyszukiwarkę niespotykaną dotąd na świecie. Budujemy infrastrukturę na masową skalę do przeszukiwania całej sieci, szkolimy najnowocześniejsze modele osadzania do jej przetwarzania i projektujemy bardzo wydajne wektorowe bazy danych do pobierania z niej. Obecnie wspieramy wyszukiwanie dla Cursor, Cognition, HubSpot i ponad 400 000 programistów i zebraliśmy 350 milionów dolarów od Lightspeed, Benchmark i a16z.
Naszym ostatecznym celem jest zbudowanie doskonałego wyszukiwania wszystkich informacji na świecie, daleko poza Google. Jeśli chcesz budować systemy ML na masową skalę, które zdefiniują sposób, w jaki nowy świat AI wykorzystuje informacje, to jest miejsce dla Ciebie.
Zespół Knowledge Platform buduje silnik wiedzy Exa. Nieustannie syntetyzujemy informacje z Internetu i spoza niego, tworząc jeden z największych na świecie wykresów wiedzy o otwartej domenie, zawierający setki miliardów twierdzeń popartych dowodami. Praca składa się z dwóch części: rurociągów konstrukcyjnych, które decydują, komu zaufać, oraz silników wyszukiwania, które decydują, jak najlepiej je przeszukać. Naszym celem jest udzielanie agentom odpowiedzi na wszelkie merytoryczne pytania dotyczące świata z niespotykaną dotąd precyzją i kompletnością.
Na tym stanowisku będziesz właścicielem mechanizmu zapytań, który przeszukuje setki miliardów roszczeń w różnych narzędziach wyszukiwania, od rozproszonej bazy danych grafowych po indeksy wektorowe, pełnotekstowe, szeregi czasowe i indeksy geoprzestrzenne.
Jest to praca od podstaw o ogromnym zasięgu. Żaden gotowy system nie odpowiada na precyzyjne pytania na podstawie setek miliardów popartych dowodami twierdzeń z szybkością agenta, dzięki czemu możesz podejmować podstawowe decyzje, od układu pamięci i indeksowania w różnych silnikach po język zapytań i planer kierujący pracę między nimi, od którego zależy każde zapytanie.

Co zrobisz

• Własne przechowywanie i indeksowanie w obrębie backendów: układ danych, partycjonowanie i indeksy dla wykresów, wektorów, pełnotekstowego pobierania szeregów czasowych i danych geoprzestrzennych, z zbiorczym tworzeniem migawek i pobieraniem na żywo, które nigdy nie zawiesza systemu.

• Zdecyduj, jak najlepiej wyszukiwać: planowanie oparte na kosztach na podstawie szacunków liczności, które dla każdego pytania wybiera, jakiego backendu użyć, w jakiej kolejności i jak połączyć wyniki, wykonywane jako przechodzenia, pobieranie, filtry i agregacje w jednym planie.

• Działaj szybko i na dużą skalę: obsługuj tysiące zapytań na sekundę, profilując i ograniczając opóźnienia p50/p99, pamięć i koszt zapytania przy dużym jednoczesnym obciążeniu, od układu na dysku po rozproszenie sieci.

• Zachowaj spójność odpowiedzi, gdy dane są zbieżne: wykres jest jednocześnie zasilany aktualizacjami na żywo i migawkami zbiorczymi, a ostatecznie jest spójny z założenia, dzięki czemu będziesz właścicielem tego, co może zobaczyć zapytanie podczas zbieżności: spójne promowanie migawek, uporządkowane stosowanie aktualizacji na żywo i stabilna paginacja w różnych wersjach.

• Mierz precyzję i kompletność: kompleksowe kontrole, które musi przejść każde wdrożenie, a także oceny i metryki pokazujące, kiedy plan zwraca błędne wyniki lub pomija te, które powinien znaleźć.

Czego szukamy

• Pracowałeś głęboko w rozproszonej bazie danych, silniku zapytań, wyszukiwarce lub systemie przechowywania.

• Dobra znajomość indeksowania, planowania i optymalizacji zapytań oraz formatów przechowywania.

• Solidne zrozumienie podstaw systemów rozproszonych: konsensus, replikacja, sharding i odporność na błędy.

• Dobra znajomość języka systemowego (Go, Rust lub C++).

• Profilujesz przed optymalizacją, a w środowisku produkcyjnym osiągasz sukcesy w zakresie mierzonych opóźnień.

• Masz obsesję na punkcie poprawności, wiarygodności i jakości danych, a nie skali.

Premia

• Graficzne bazy danych lub łączenie wyszukiwania wektorowego, pełnotekstowego, szeregów czasowych i geoprzestrzennych

• Kompilatory, projektowanie języka zapytań lub optymalizatory oparte na kosztach

Przykładowe projekty

• Zbuduj system, który wyszukuje i uzasadnia wszystko, co wiadomo o dowolnej firmie lub osobie na świecie, odpowiadając precyzyjnie i całkowicie na każde merytoryczne pytanie.

• Odpowiadaj na precyzyjne pytania typu multi-hop w ramach setek miliardów roszczeń przy tysiącach QPS z interaktywnym opóźnieniem.

• Zbuduj planer, który wybierze odpowiednią kombinację wyszukiwania wykresów, wektorów, pełnotekstowego i geoprzestrzennego dla każdego pytania i udowodni, że wybrał dobrze.

• Spraw, aby nowa wiedza była podatna na zapytania w kilka sekund po jej syntezie, nigdy nie dając niespójnych wyników.

Logistyka

• Lokalizacja: Jest to możliwość osobistej wizyty w Zurychu.

• Wizy: Chętnie sponsorujemy międzynarodowych kandydatów (np. STEM OPT, OPT, H1B, O1, E3). Chociaż nie możemy zagwarantować Twojej wizy, w przeszłości odnosiliśmy sukcesy w sponsorowaniu kandydatów z całego świata. Jeśli otrzymasz ofertę, nasz zespół dołoży wszelkich starań, aby uzyskać wizę.

• Świadczenia: Oferujemy wysokiej jakości świadczenia zdrowotne (medyczne, stomatologiczne, okulistyczne), świadczenia z tytułu płodności, 16 tygodni pełnopłatnego urlopu rodzicielskiego dla wszystkich nowych rodziców oraz miesięczne stypendium socjalne dla wszystkich naszych pracowników.

Exa jest pracodawcą zapewniającym równe szanse. Wszyscy wykwalifikowani kandydaci otrzymają wynagrodzenie za zatrudnienie bez względu na rasę, wyznanie, kolor skóry, religię, płeć, orientację seksualną, tożsamość lub ekspresję płciową, pochodzenie narodowe, niepełnosprawność, wiek, status weterana, stan cywilny, ciążę lub pokrewne warunki, przeszłość kryminalną zgodną z obowiązującym prawem lub jakąkolwiek inną podstawę chronioną przez obowiązujące prawo.
Exa jest pracodawcą zapewniającym równe szanse. Wszyscy wykwalifikowani kandydaci otrzymają wynagrodzenie za zatrudnienie bez względu na rasę, wyznanie, kolor skóry, religię, płeć, orientację seksualną, tożsamość lub ekspresję płciową, pochodzenie narodowe, niepełnosprawność, wiek, status weterana, stan cywilny, ciążę lub pokrewne warunki, przeszłość kryminalną zgodną z obowiązującym prawem lub jakąkolwiek inną podstawę chronioną przez obowiązujące prawo.
Znajdź więcej anglojęzycznych ofert pracy w Szwajcarii na Arbeitnow

Źródło: Arbeitnow (https://www.arbeitnow.ch/jobs/companies/exa/software-engineer-knowledge-engine-query-engine-zurich-49685)