Ingeniero de Software – Motores de Consultas

Una empresa que cambia el mundo

Palantir crea el software líder en el mundo para decisiones y operaciones basadas en datos. Al brindar los datos correctos a las personas que los necesitan, nuestras plataformas permiten a nuestros socios desarrollar medicamentos que salvan vidas, pronosticar interrupciones en la cadena de suministro, localizar niños desaparecidos y más.

El papel

Somos un equipo de ingeniería de software que aplica tecnologías de datos de código abierto a algunos de los problemas más difíciles e importantes del mundo. Construimos la infraestructura de procesamiento de datos que sustenta Palantir Foundry, respaldando aplicaciones que ayudan a los hospitales a atender a más pacientes, ayudan a los equipos clínicos a coordinar diagnósticos oportunos y mantienen los suministros esenciales en movimiento durante la disrupción global.

Trabajará profundamente en los sistemas que hacen esto posible: cómo se representan los cálculos, cómo se optimizan los planes de consulta, cómo se ejecutan los operadores y cómo se leen y escriben los datos de manera eficiente. Nos basamos y ampliamos en Apache Spark, Apache DataFusion y Apache Iceberg, incorporando avances en motores de código abierto y formatos de tablas a los entornos exigentes en los que operan nuestros clientes. Nuestro trabajo sirve para muchos productos y cargas de trabajo en Foundry, incluidas canalizaciones sin código, análisis interactivos y el procesamiento que mantiene la Ontología actualizada.

Poseerá mejoras desde el diseño hasta la producción, ya sea que eso signifique desarrollar una regla de planificación, ampliar un motor de ejecución nativo o mejorar la forma en que se escanean y actualizan tablas grandes. La corrección, la compatibilidad y el rendimiento predecible son fundamentales para todo lo que construimos. Un cambio en un motor compartido puede beneficiar a las aplicaciones en toda la plataforma y a las personas que dependen de ellas.

Únase a nosotros si desea mejorar las capacidades de los sistemas de datos modernos y aplicar ese trabajo a problemas importantes.

Tecnologías que utilizamos

• Java, Scala, Rust y Python

• Apache Spark, Apache DataFusion, Apache Comet y Velox para procesamiento de datos y ejecución de consultas.

• Apache Iceberg para gestión de tablas e interoperabilidad de catálogos

• Apache Arrow y Apache Parquet para procesamiento de datos en memoria y almacenamiento en columnas

• Herramientas de compilación estándar de la industria, incluidos Gradle, Cargo y GitHub.

Responsabilidades principales

• Diseñar e implementar capacidades de optimización y planificación de consultas que conviertan cálculos complejos en planes de ejecución eficientes.

• Ampliar los motores de ejecución con nuevas capacidades y mejorar los operadores de consultas, el paralelismo, la gestión de la memoria y el movimiento de datos.

• Desarrollar el catálogo Iceberg de Foundry y las integraciones de motores, incluidos metadatos de tablas, transacciones y lecturas y escrituras eficientes.

• Creación de semántica de transformación compartida e interfaces de ejecución para cargas de trabajo en todos los productos y servicios de plataforma de Foundry.

• Mejorar el procesamiento incremental para que los canales puedan reutilizar resultados anteriores y procesar nuevos datos de manera eficiente y al mismo tiempo preservar la corrección.

• Evaluar e integrar avances en sistemas de datos de código abierto, validando su comportamiento y rendimiento frente a cargas de trabajo del mundo real.

• Investigar problemas de corrección y rendimiento en la planificación, ejecución y almacenamiento, y crear pruebas y puntos de referencia que eviten regresiones.

• Trabajar con equipos de productos y clientes para traducir las necesidades operativas en capacidades del motor que se integren con la seguridad, la gestión de datos y la infraestructura de construcción de Foundry.

Lo que valoramos

• Mentalidad de propiedad y un alto nivel de corrección. Nuestros sistemas respaldan las decisiones y operaciones de las que dependen los clientes.

• Curiosidad sobre cómo funcionan los sistemas de datos, desde optimizadores de consultas y operadores de ejecución hasta formatos de tablas y procesamiento distribuido.

• Fuertes habilidades de depuración y motivación para seguir un problema en todos los idiomas, servicios y capas de la pila.

• Un enfoque práctico del desempeño, basado en perfiles, cargas de trabajo representativas y mejoras mensurables.

• Interés en aplicar la ingeniería de sistemas profunda a problemas del mundo real, con empatía por las personas que usan y dependen de nuestro software.

• Experiencia en la creación o ampliación de sistemas como Spark, DataFusion, Iceberg o tecnologías comparables, e interés en aprender sobre todos los aspectos.

• Capacidad para colaborar entre equipos y trabajar eficazmente con los proyectos de código abierto en los que construimos. Se valora la experiencia contribuyendo a proyectos de código abierto, pero no es obligatoria.

Lo que requerimos

• Más de 4 años de experiencia profesional en ingeniería de software en la construcción y operación de sistemas de producción.

• Experiencia en ingeniería en Ciencias de la Computación, Matemáticas, Ingeniería de Software, Física o un campo similar, o experiencia práctica equivalente.

• Fuertes habilidades de codificación con dominio demostrado en uno o más lenguajes como Java, Rust, Scala o C++.

• Experiencia en el desarrollo de motores de bases de datos, sistemas de procesamiento de datos distribuidos, sistemas de almacenamiento o infraestructura comparable, con profundidad en áreas como planificación de consultas, ejecución u optimización del rendimiento.

• Bases sólidas en algoritmos, estructuras de datos y concurrencia, con experiencia en el diagnóstico de problemas de corrección y rendimiento en sistemas complejos.

• Fuertes habilidades de comunicación verbal y escrita y la capacidad de trabajar eficazmente en equipos, incorporar comentarios y mantener un alto nivel de calidad.

La vida en Palantir

Queremos que todos los palantirianos logren sus mejores resultados, es por eso que celebramos las fortalezas, habilidades e intereses de las personas, desde su primera entrevista hasta su crecimiento a largo plazo, en lugar de depender de las escalas profesionales tradicionales. Prestar atención a las necesidades de nuestra comunidad nos permite optimizar nuestras oportunidades de crecimiento y ayuda a garantizar muchos caminos hacia el éxito en Palantir. Promover la salud y el bienestar en todas las áreas de la vida de los palantirianos es solo una de las formas en que invertimos en nuestra comunidad. Obtenga más información en Life at Palantir y tenga en cuenta que nuestras ofertas pueden variar según la región.…

Fuente: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/palantir/software-engineer-query-engines-london-united-kingdom-116121)