Inżynier oprogramowania – silniki zapytań

Firma zmieniająca świat

Palantir tworzy wiodące na świecie oprogramowanie do podejmowania decyzji i operacji w oparciu o dane. Dostarczając odpowiednie dane osobom, które ich potrzebują, nasze platformy umożliwiają naszym partnerom opracowywanie leków ratujących życie, prognozowanie zakłóceń w łańcuchu dostaw, lokalizowanie zaginionych dzieci i nie tylko.

Rola

Jesteśmy zespołem inżynierów oprogramowania stosującym technologie danych typu open source do rozwiązywania niektórych z najtrudniejszych i najważniejszych problemów świata. Budujemy infrastrukturę przetwarzania danych, która stanowi podstawę Palantir Foundry, obsługując aplikacje, które pomagają szpitalom opiekować się większą liczbą pacjentów, pomagają zespołom klinicznym w koordynowaniu terminowych diagnoz i utrzymywaniu niezbędnych dostaw w obliczu globalnych zakłóceń.

Będziesz pracować głęboko w systemach, które to umożliwiają: w jaki sposób reprezentowane są obliczenia, w jaki sposób optymalizowane są plany zapytań, w jaki sposób wykonują operatory oraz w jaki sposób efektywnie odczytywane i zapisywane są dane. Opieramy się na Apache Spark, Apache DataFusion i Apache Iceberg i rozszerzamy je, wprowadzając postęp w silnikach open source i formatach tabel do wymagających środowisk, w których działają nasi klienci. Nasza praca obsługuje wiele produktów i obciążeń w całej Foundry, w tym potoki bez kodu, interaktywną analizę i przetwarzanie, które zapewnia aktualność Ontologii.

Będziesz właścicielem ulepszeń od projektu po produkcję, niezależnie od tego, czy będzie to oznaczać opracowanie reguły planowania, rozszerzenie natywnego silnika wykonawczego, czy ulepszenie sposobu skanowania i aktualizacji dużych tabel. Poprawność, kompatybilność i przewidywalna wydajność są kluczowe dla wszystkiego, co budujemy. Zmiana we współdzielonym silniku może przynieść korzyści aplikacjom na całej platformie i osobom, które na nich polegają.

Dołącz do nas, jeśli chcesz zwiększyć możliwości nowoczesnych systemów danych i zastosować tę pracę do rozwiązywania problemów.

Technologie, których używamy

• Java, Scala, Rust i Python

• Apache Spark, Apache DataFusion, Apache Comet i Velox do przetwarzania danych i wykonywania zapytań

• Apache Iceberg do zarządzania tabelami i współdziałania katalogów

• Apache Arrow i Apache Parquet do przetwarzania danych w pamięci i przechowywania kolumnowego

• Narzędzia do tworzenia zgodne ze standardami branżowymi, w tym Gradle, Cargo i GitHub.

Podstawowe obowiązki

• Projektowanie i wdrażanie możliwości planowania i optymalizacji zapytań, które przekształcają złożone obliczenia w wydajne plany wykonania

• Rozszerzanie silników wykonawczych o nowe możliwości i ulepszanie operatorów zapytań, równoległości, zarządzania pamięcią i przenoszenia danych

• Opracowywanie integracji katalogu Iceberg i silnika Foundry, w tym metadanych tabel, transakcji oraz wydajnego odczytu i zapisu

• Budowanie wspólnej semantyki transformacji i interfejsów wykonawczych dla obciążeń w ramach produktów i usług platformy Foundry

• Ulepszanie przetwarzania przyrostowego, aby potoki mogły ponownie wykorzystywać poprzednie wyniki i efektywnie przetwarzać nowe dane, zachowując jednocześnie poprawność

• Ocena i integracja postępów w systemach danych typu open source, weryfikacja ich zachowania i wydajności w porównaniu z obciążeniami w świecie rzeczywistym

• Badanie problemów z poprawnością i wydajnością w planowaniu, wykonywaniu i przechowywaniu oraz tworzenie testów i testów porównawczych, które zapobiegają regresjom

• Praca z zespołami ds. produktów i klientami w celu przełożenia potrzeb operacyjnych na możliwości silnika, które integrują się z bezpieczeństwem, zarządzaniem danymi i budową infrastruktury Foundry

Co cenimy

• Nastawienie właścicielskie i wysoka poprzeczka poprawności. Nasze systemy wspierają decyzje i operacje, na których polegają klienci.

• Ciekawość działania systemów danych, od optymalizatorów zapytań i operatorów wykonawczych po formaty tabel i przetwarzanie rozproszone.

• Silne umiejętności debugowania i motywacja do śledzenia problemu w różnych językach, usługach i warstwach stosu.

• Praktyczne podejście do wydajności, oparte na profilowaniu, reprezentatywnym obciążeniu pracą i mierzalnych ulepszeniach.

• Zainteresowanie zastosowaniem głębokiej inżynierii systemów do rozwiązywania rzeczywistych problemów, z empatią dla osób, które korzystają z naszego oprogramowania i na nim polegają.

• Doświadczenie w budowaniu lub rozszerzaniu systemów, takich jak Spark, DataFusion, Iceberg lub porównywalnych technologii oraz zainteresowanie nauką w szerokim zakresie.

• Umiejętność współpracy między zespołami i efektywnej pracy z projektami open source, na których opieramy się. Doświadczenie w projektach open source jest cenione, ale nie wymagane.

Czego wymagamy

• Ponad 4 lata doświadczenia w inżynierii oprogramowania w budowaniu i obsłudze systemów produkcyjnych.

• Wykształcenie inżynierskie w dziedzinie informatyki, matematyki, inżynierii oprogramowania, fizyki lub pokrewnej dziedziny lub równoważne doświadczenie praktyczne.

• Silne umiejętności kodowania z wykazaną biegłością w jednym lub większej liczbie języków, takich jak Java, Rust, Scala lub C++.

• Doświadczenie w tworzeniu silników baz danych, rozproszonych systemów przetwarzania danych, systemów przechowywania danych lub porównywalnej infrastruktury, ze znajomością takich obszarów, jak planowanie zapytań, wykonywanie lub optymalizacja wydajności.

• Solidne podstawy w zakresie algorytmów, struktur danych i współbieżności, z doświadczeniem w diagnozowaniu problemów z poprawnością i wydajnością w złożonych systemach.

• Silne umiejętności komunikacji pisemnej i werbalnej oraz umiejętność efektywnej pracy między zespołami, uwzględniania informacji zwrotnych i utrzymywania wysokiej jakości.

Życie w Palantirze

Chcemy, aby każdy Palantirianin osiągał jak najlepsze wyniki, dlatego celebrujemy mocne strony, umiejętności i zainteresowania poszczególnych osób, od pierwszej rozmowy kwalifikacyjnej po długoterminowy rozwój, zamiast polegać na tradycyjnych drabinach kariery. Zwracanie uwagi na potrzeby naszej społeczności pozwala nam optymalizować możliwości rozwoju i zapewnia Palantir wiele ścieżek do sukcesu. Promowanie zdrowia i dobrego samopoczucia we wszystkich obszarach życia Palantirian to tylko jeden ze sposobów, w jaki inwestujemy w naszą społeczność. Dowiedz się więcej na stronie Life at Palantir i pamiętaj, że nasza oferta może różnić się w zależności od regionu.…

Źródło: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/palantir/software-engineer-query-engines-london-united-kingdom-116121)