Інженер-програміст – механізми запитів

Компанія, що змінює світ

Palantir створює провідне у світі програмне забезпечення для прийняття рішень і операцій на основі даних. Надаючи правильні дані людям, які їх потребують, наші платформи дають змогу нашим партнерам розробляти рятівні ліки, прогнозувати збої в ланцюзі поставок, знаходити зниклих дітей тощо.

Роль

Ми — команда розробників програмного забезпечення, яка застосовує технології даних з відкритим кодом до деяких із найскладніших і найважливіших проблем у світі. Ми створюємо інфраструктуру обробки даних, яка лежить в основі Palantir Foundry, підтримуючи додатки, які допомагають лікарням обслуговувати більше пацієнтів, допомагають клінічним командам координувати своєчасну діагностику та забезпечують переміщення основних запасів через глобальні збої.

Ви працюватимете глибоко всередині систем, які роблять це можливим: як представлені обчислення, як оптимізуються плани запитів, як виконуються оператори та як дані читаються та записуються ефективно. Ми будуємо та розширюємо Apache Spark, Apache DataFusion і Apache Iceberg, вносячи прогрес у двигуни з відкритим вихідним кодом і формати таблиць у складні середовища, в яких працюють наші клієнти. Наша робота обслуговує багато продуктів і робочих навантажень у Foundry, включаючи безкодові конвеєри, інтерактивний аналіз і обробку, яка підтримує Онтологію в актуальному стані.

Ви будете володіти вдосконаленнями від проектування до виробництва, незалежно від того, чи це означає розробку правила планування, розширення власного механізму виконання або вдосконалення способу сканування та оновлення великих таблиць. Правильність, сумісність і передбачувана продуктивність є ключовими для всього, що ми створюємо. Зміна спільного механізму може принести користь додаткам на всій платформі та людям, які покладаються на них.

Приєднуйтесь до нас, якщо ви хочете розширити можливості сучасних систем обробки даних і застосувати цю роботу до непрямих проблем.

Технології, які ми використовуємо

• Java, Scala, Rust і Python

• Apache Spark, Apache DataFusion, Apache Comet і Velox для обробки даних і виконання запитів

• Apache Iceberg для керування таблицями та сумісності каталогу

• Apache Arrow і Apache Parquet для обробки даних у пам’яті та колонкового зберігання

• Інструменти збірки, що відповідають галузевим стандартам, включаючи Gradle, Cargo та GitHub.

Основні обов'язки

• Розробка та впровадження можливостей планування та оптимізації запитів, які перетворюють складні обчислення на ефективні плани виконання

• Розширення механізмів виконання новими можливостями та вдосконалення операторів запитів, паралелізму, керування пам’яттю та переміщення даних

• Розробка каталогу Iceberg і інтеграції двигуна Foundry, включаючи метадані таблиці, транзакції та ефективне читання та запис

• Створення спільної семантики трансформації та інтерфейсів виконання для робочих навантажень у продуктах і службах платформи Foundry

• Покращення інкрементної обробки, щоб конвеєри могли повторно використовувати попередні результати та ефективно обробляти нові дані, зберігаючи правильність

• Оцінка та інтеграція досягнень у системах даних з відкритим вихідним кодом, перевірка їхньої поведінки та продуктивності щодо реальних робочих навантажень

• Дослідження проблем із правильністю та продуктивністю під час планування, виконання та зберігання, а також створення тестів і контрольних показників, які запобігають регресії

• Співпраця з командами продуктів і клієнтами для перетворення операційних потреб у можливості двигуна, які інтегруються з безпекою, керуванням даними та створенням інфраструктури Foundry

Що ми цінуємо

• Спосіб власності та висока планка коректності. Наші системи підтримують рішення та операції, від яких залежать клієнти.

• Цікавість до того, як працюють системи даних, від оптимізаторів запитів і операторів виконання до форматів таблиць і розподіленої обробки.

• Сильні навички налагодження та мотивація стежити за проблемою на мовах, службах і рівнях стеку.

• Практичний підхід до продуктивності, заснований на профілюванні, репрезентативних робочих навантаженнях і вимірних покращеннях.

• Зацікавленість у застосуванні глибокої системної інженерії до реальних проблем із співчуттям до людей, які використовують наше програмне забезпечення та залежать від нього.

• Досвід створення або розширення систем, таких як Spark, DataFusion, Iceberg або подібних технологій, а також зацікавленість у навчанні по всьому стеку.

• Здатність співпрацювати між командами та ефективно працювати з проектами з відкритим вихідним кодом, які ми будуємо. Досвід участі в проектах з відкритим кодом цінується, але не є обов’язковим.

Що ми вимагаємо

• 4+ роки професійного досвіду розробки програмного забезпечення для створення та експлуатації виробничих систем.

• Інженерна освіта в галузі інформатики, математики, розробки програмного забезпечення, фізики чи подібної галузі або еквівалентний практичний досвід.

• Хороші навички програмування з продемонстрованим знанням однієї або кількох мов, таких як Java, Rust, Scala або C++.

• Досвід розробки механізмів баз даних, розподілених систем обробки даних, систем зберігання або подібної інфраструктури, глибоко в таких областях, як планування запитів, виконання або оптимізація продуктивності.

• Міцні основи в алгоритмах, структурах даних і паралелізмі, з досвідом діагностики коректності та проблем продуктивності в складних системах.

• Сильні навички письмового та усного спілкування та здатність ефективно працювати в команді, включати зворотний зв’язок і тримати високу планку якості.

Життя в Палантирі

Ми хочемо, щоб кожен палантинець досяг найкращих результатів, тому ми відзначаємо сильні сторони, навички та інтереси окремих людей, від вашої першої співбесіди до вашого довгострокового зростання, а не покладаємося на традиційні кар’єрні сходи. Увага до потреб нашої спільноти дозволяє нам оптимізувати наші можливості для зростання та допомагає забезпечити багато шляхів до успіху в Palantir. Сприяння здоров’ю та благополуччю в усіх сферах життя жителів Палантири – це лише один із способів інвестування в нашу спільноту. Дізнайтеся більше на сайті Life at Palantir і зауважте, що наші пропозиції можуть відрізнятися залежно від регіону.…

Джерело: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/palantir/software-engineer-query-engines-london-united-kingdom-116121)