Инженер-программист – системы запросов

Компания, меняющая мир

Palantir создает ведущее в мире программное обеспечение для принятия решений и операций на основе данных. Предоставляя нужные данные людям, которые в них нуждаются, наши платформы дают нашим партнерам возможность разрабатывать жизненно важные лекарства, прогнозировать сбои в цепочке поставок, находить пропавших детей и многое другое.

Роль

Мы — команда разработчиков программного обеспечения, применяющая технологии данных с открытым исходным кодом для решения некоторых из самых сложных и важных проблем в мире. Мы создаем инфраструктуру обработки данных, лежащую в основе Palantir Foundry, поддерживая приложения, которые помогают больницам обслуживать больше пациентов, помогают клиническим командам координировать своевременную диагностику и обеспечивать доставку основных поставок в условиях глобальных потрясений.

Вы будете работать глубоко внутри систем, которые делают это возможным: как представляются вычисления, как оптимизируются планы запросов, как выполняются операторы и как эффективно считываются и записываются данные. Мы развиваем и расширяем Apache Spark, Apache DataFusion и Apache Iceberg, внедряя достижения в области механизмов с открытым исходным кодом и форматов таблиц в требовательные среды, в которых работают наши клиенты. Наша работа обслуживает множество продуктов и рабочих нагрузок в Foundry, включая конвейеры без кода, интерактивный анализ и обработку, которая поддерживает актуальность онтологии.

Вы будете владеть улучшениями от проектирования до производства, будь то разработка правила планирования, расширение встроенного механизма выполнения или улучшение способа сканирования и обновления больших таблиц. Корректность, совместимость и предсказуемая производительность играют центральную роль во всем, что мы создаем. Изменение общего механизма может принести пользу приложениям на платформе и людям, которые на них полагаются.

Присоединяйтесь к нам, если вы хотите расширить возможности современных систем обработки данных и применить эту работу к решению последующих проблем.

Технологии, которые мы используем

• Java, Scala, Rust и Python.

• Apache Spark, Apache DataFusion, Apache Comet и Velox для обработки данных и выполнения запросов.

• Apache Iceberg для управления таблицами и совместимости каталогов.

• Apache Arrow и Apache Parquet для обработки данных в памяти и столбцового хранения.

• Стандартные инструменты сборки, включая Gradle, Cargo и GitHub.

Основные обязанности

• Разработка и реализация возможностей планирования и оптимизации запросов, которые превращают сложные вычисления в эффективные планы выполнения.

• Расширение механизмов выполнения новыми возможностями и улучшение операторов запросов, параллелизма, управления памятью и перемещения данных.

• Разработка каталога Foundry Iceberg и интеграции движка, включая метаданные таблиц, транзакции и эффективное чтение и запись.

• Создание общей семантики преобразования и интерфейсов выполнения для рабочих нагрузок в продуктах и платформенных сервисах Foundry.

• Улучшение поэтапной обработки, чтобы конвейеры могли повторно использовать предыдущие результаты и эффективно обрабатывать новые данные, сохраняя при этом корректность.

• Оценка и интеграция достижений в системах данных с открытым исходным кодом, проверка их поведения и производительности на фоне реальных рабочих нагрузок.

• Исследование проблем с правильностью и производительностью при планировании, выполнении и хранении, а также создание тестов и контрольных показателей, предотвращающих регрессии.

• Работа с продуктовыми командами и клиентами над преобразованием эксплуатационных потребностей в возможности ядра, которые интегрируются с системами безопасности, управления данными и построения инфраструктуры Foundry.

Что мы ценим

• Мышление собственника и высокая планка правильности. Наши системы поддерживают решения и операции, от которых зависят клиенты.

• Любопытство в отношении того, как работают системы данных: от оптимизаторов запросов и операторов выполнения до форматов таблиц и распределенной обработки.

• Сильные навыки отладки и мотивация отслеживать проблему на всех языках, сервисах и уровнях стека.

• Практический подход к производительности, основанный на профилировании, репрезентативных рабочих нагрузках и измеримых улучшениях.

• Интерес к применению глубокого системного проектирования для решения реальных проблем, сочувствие к людям, которые используют наше программное обеспечение и зависят от него.

• Опыт создания или расширения систем, таких как Spark, DataFusion, Iceberg или аналогичных технологий, а также интерес к обучению в рамках всего стека.

• Способность сотрудничать между командами и эффективно работать с проектами с открытым исходным кодом, на которых мы работаем. Опыт участия в проектах с открытым исходным кодом приветствуется, но не обязателен.

Что нам нужно

• Более 4 лет профессионального опыта разработки программного обеспечения, создания и эксплуатации производственных систем.

• Инженерное образование в области компьютерных наук, математики, разработки программного обеспечения, физики или аналогичной области или эквивалентный практический опыт.

• Сильные навыки программирования с подтвержденным знанием одного или нескольких языков, таких как Java, Rust, Scala или C++.

• Опыт разработки механизмов баз данных, распределенных систем обработки данных, систем хранения или аналогичной инфраструктуры с глубокими знаниями в таких областях, как планирование запросов, выполнение или оптимизация производительности.

• Прочные знания в области алгоритмов, структур данных и параллельной обработки, а также опыт диагностики проблем корректности и производительности в сложных системах.

• Сильные письменные и устные коммуникативные навыки, а также способность эффективно работать в команде, учитывать обратную связь и держать высокую планку качества.

Жизнь в Палантире

Мы хотим, чтобы каждый палантирианец добился наилучших результатов, поэтому мы отмечаем сильные стороны, навыки и интересы людей, начиная с вашего первого собеседования и заканчивая вашим долгосрочным ростом, а не полагаемся на традиционные карьерные лестницы. Уделение внимания потребностям нашего сообщества позволяет нам оптимизировать наши возможности для роста и помогает обеспечить множество путей к успеху в Palantir. Содействие здоровью и благополучию во всех сферах жизни палантирианцев — это лишь один из способов, которым мы инвестируем в наше сообщество. Узнайте больше на сайте Life at Palantir и обратите внимание, что наши предложения могут различаться в зависимости от региона…

Источник: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/palantir/software-engineer-query-engines-london-united-kingdom-116121)