Ingénieur logiciel – Moteurs de requêtes

Une entreprise qui change le monde

Palantir développe le logiciel leader mondial pour les décisions et les opérations basées sur les données. En fournissant les bonnes données aux personnes qui en ont besoin, nos plateformes permettent à nos partenaires de développer des médicaments qui sauvent des vies, de prévoir les perturbations de la chaîne d'approvisionnement, de localiser les enfants disparus, et bien plus encore.

Le rôle

Nous sommes une équipe d’ingénierie logicielle appliquant des technologies de données open source à certains des problèmes les plus difficiles et les plus importants au monde. Nous construisons l'infrastructure de traitement des données qui sous-tend Palantir Foundry, en prenant en charge les applications qui aident les hôpitaux à soigner davantage de patients, à coordonner les diagnostics en temps opportun et à assurer la circulation des fournitures essentielles malgré les perturbations mondiales.

Vous travaillerez en profondeur dans les systèmes qui rendent cela possible : comment les calculs sont représentés, comment les plans de requête sont optimisés, comment les opérateurs s'exécutent et comment les données sont lues et écrites efficacement. Nous nous appuyons sur et étendons Apache Spark, Apache DataFusion et Apache Iceberg, en apportant les avancées des moteurs open source et des formats de table aux environnements exigeants dans lesquels nos clients opèrent. Notre travail concerne de nombreux produits et charges de travail dans Foundry, y compris les pipelines sans code, l'analyse interactive et le traitement qui maintient l'ontologie à jour.

Vous serez propriétaire des améliorations depuis la conception jusqu'à la production, qu'il s'agisse de développer une règle de planification, d'étendre un moteur d'exécution natif ou d'améliorer la façon dont les grandes tables sont analysées et mises à jour. L'exactitude, la compatibilité et les performances prévisibles sont au cœur de tout ce que nous construisons. Un changement dans un moteur partagé peut bénéficier aux applications de la plateforme et aux personnes qui en dépendent.

Rejoignez-nous si vous souhaitez faire progresser les capacités des systèmes de données modernes et appliquer ce travail aux problèmes qui en découlent.

Technologies que nous utilisons

• Java, Scala, Rust et Python

• Apache Spark, Apache DataFusion, Apache Comet et Velox pour le traitement des données et l'exécution des requêtes

• Apache Iceberg pour la gestion des tables et l'interopérabilité des catalogues

• Apache Arrow et Apache Parquet pour le traitement des données en mémoire et le stockage en colonnes

• Outils de construction conformes aux normes de l'industrie, notamment Gradle, Cargo et GitHub.

Responsabilités principales

• Concevoir et mettre en œuvre des capacités de planification et d'optimisation des requêtes qui transforment des calculs complexes en plans d'exécution efficaces.

• Extension des moteurs d'exécution avec de nouvelles fonctionnalités et amélioration des opérateurs de requête, du parallélisme, de la gestion de la mémoire et du mouvement des données.

• Développement du catalogue Iceberg de Foundry et des intégrations du moteur, y compris les métadonnées des tables, les transactions et les lectures et écritures efficaces.

• Création d'une sémantique de transformation partagée et d'interfaces d'exécution pour les charges de travail sur les produits et services de plateforme de Foundry.

• Amélioration du traitement incrémentiel afin que les pipelines puissent réutiliser les résultats précédents et traiter efficacement les nouvelles données tout en préservant l'exactitude.

• Évaluer et intégrer les avancées des systèmes de données open source, en validant leur comportement et leurs performances par rapport aux charges de travail du monde réel.

• Enquêter sur les problèmes d'exactitude et de performances au niveau de la planification, de l'exécution et du stockage, et créer des tests et des références qui empêchent les régressions.

• Travailler avec les équipes produit et les clients pour traduire les besoins opérationnels en capacités de moteur qui s'intègrent à la sécurité, à la gestion des données et à l'infrastructure de construction de Foundry.

Ce que nous valorisons

• Esprit de propriété et barre haute en matière d'exactitude. Nos systèmes prennent en charge les décisions et les opérations dont dépendent les clients.

• Curiosité sur le fonctionnement des systèmes de données, depuis les optimiseurs de requêtes et les opérateurs d'exécution jusqu'aux formats de tables et au traitement distribué.

• Solides compétences en débogage et motivation pour suivre un problème à travers les langages, les services et les couches de la pile.

• Une approche pratique de la performance, fondée sur le profilage, des charges de travail représentatives et des améliorations mesurables.

• Intérêt pour l'application d'une ingénierie système approfondie à des problèmes du monde réel, avec empathie pour les personnes qui utilisent et dépendent de nos logiciels.

• Expérience dans la création ou l'extension de systèmes tels que Spark, DataFusion, Iceberg ou des technologies comparables, et intérêt pour l'apprentissage à travers la pile.

• Capacité à collaborer entre équipes et à travailler efficacement avec les projets open source sur lesquels nous nous appuyons. Une expérience contribuant à des projets open source est valorisée, mais pas obligatoire.

Ce dont nous avons besoin

• Plus de 4 ans d'expérience professionnelle en génie logiciel dans la création et l'exploitation de systèmes de production.

• Formation d'ingénieur en informatique, mathématiques, génie logiciel, physique ou dans un domaine similaire, ou expérience pratique équivalente.

• Solides compétences en codage avec une maîtrise démontrée d'un ou plusieurs langages tels que Java, Rust, Scala ou C++.

• Expérience dans le développement de moteurs de bases de données, de systèmes de traitement de données distribués, de systèmes de stockage ou d'infrastructures comparables, avec une profondeur dans des domaines tels que la planification, l'exécution ou l'optimisation des performances des requêtes.

• Bases solides en algorithmes, structures de données et concurrence, avec une expérience dans le diagnostic des problèmes d'exactitude et de performances dans des systèmes complexes.

• Solides compétences en communication écrite et verbale et capacité à travailler efficacement au sein d'équipes, à intégrer les commentaires et à maintenir la barre haute en matière de qualité.

La vie à Palantir

Nous voulons que chaque Palantirien obtienne les meilleurs résultats, c'est pourquoi nous célébrons les forces, les compétences et les intérêts des individus, de votre premier entretien à votre croissance à long terme, plutôt que de nous fier aux échelles de carrière traditionnelles. Prêter attention aux besoins de notre communauté nous permet d'optimiser nos opportunités de croissance et contribue à garantir de nombreuses voies vers le succès chez Palantir. Promouvoir la santé et le bien-être dans tous les domaines de la vie des Palantiriens n’est que l’une des façons dont nous investissons dans notre communauté. Apprenez-en plus sur Life at Palantir et notez que nos offres peuvent varier selon les régions.…

Source : Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/palantir/software-engineer-query-engines-london-united-kingdom-116121)