Softwareentwickler – Abfrage-Engines

Ein weltveränderndes Unternehmen

Palantir entwickelt die weltweit führende Software für datengesteuerte Entscheidungen und Abläufe. Indem wir die richtigen Daten zu den Menschen bringen, die sie brauchen, ermöglichen unsere Plattformen unseren Partnern, lebensrettende Medikamente zu entwickeln, Unterbrechungen der Lieferkette vorherzusagen, vermisste Kinder zu lokalisieren und vieles mehr.

Die Rolle

Wir sind ein Software-Engineering-Team, das Open-Source-Datentechnologien auf einige der schwierigsten und wichtigsten Probleme der Welt anwendet. Wir bauen die Datenverarbeitungsinfrastruktur auf, die der Palantir Foundry zugrunde liegt, und unterstützen Anwendungen, die Krankenhäusern dabei helfen, mehr Patienten zu versorgen, klinischen Teams dabei zu helfen, zeitnahe Diagnosen zu koordinieren und wichtige Versorgungsgüter trotz globaler Störungen in Bewegung zu halten.

Sie werden tief in die Systeme eintauchen, die dies ermöglichen: wie Berechnungen dargestellt werden, wie Abfragepläne optimiert werden, wie Operatoren ausgeführt werden und wie Daten effizient gelesen und geschrieben werden. Wir bauen auf und erweitern Apache Spark, Apache DataFusion und Apache Iceberg und bringen Fortschritte bei Open-Source-Engines und Tabellenformaten in die anspruchsvollen Umgebungen, in denen unsere Kunden arbeiten. Unsere Arbeit bedient viele Produkte und Workloads in ganz Foundry, einschließlich No-Code-Pipelines, interaktiver Analyse und der Verarbeitung, die die Ontologie auf dem neuesten Stand hält.

Sie profitieren von Verbesserungen vom Design bis zur Produktion, sei es durch die Entwicklung einer Planungsregel, die Erweiterung einer nativen Ausführungs-Engine oder die Verbesserung der Art und Weise, wie große Tabellen gescannt und aktualisiert werden. Korrektheit, Kompatibilität und vorhersehbare Leistung sind bei allem, was wir bauen, von zentraler Bedeutung. Eine Änderung an einer gemeinsam genutzten Engine kann Anwendungen auf der gesamten Plattform und den Menschen, die auf sie angewiesen sind, zugute kommen.

Kommen Sie zu uns, wenn Sie die Fähigkeiten moderner Datensysteme weiterentwickeln und diese Arbeit auf Folgeprobleme anwenden möchten.

Technologien, die wir verwenden

• Java, Scala, Rust und Python

• Apache Spark, Apache DataFusion, Apache Comet und Velox für die Datenverarbeitung und Abfrageausführung

• Apache Iceberg für Tabellenverwaltung und Kataloginteroperabilität

• Apache Arrow und Apache Parquet für In-Memory-Datenverarbeitung und spaltenbasierte Speicherung

• Industriestandard-Build-Tools, einschließlich Gradle, Cargo und GitHub.

Kernaufgaben

• Entwerfen und Implementieren von Funktionen zur Abfrageplanung und -optimierung, die komplexe Berechnungen in effiziente Ausführungspläne umwandeln

• Erweiterung der Ausführungs-Engines um neue Funktionen und Verbesserung von Abfrageoperatoren, Parallelität, Speicherverwaltung und Datenverschiebung

• Entwicklung des Iceberg-Katalogs und der Engine-Integrationen von Foundry, einschließlich Tabellenmetadaten, Transaktionen und effizienter Lese- und Schreibvorgänge

• Aufbau gemeinsamer Transformationssemantik und Ausführungsschnittstellen für Workloads in den Produkten und Plattformdiensten von Foundry

• Verbesserung der inkrementellen Verarbeitung, sodass Pipelines frühere Ergebnisse wiederverwenden und neue Daten effizient verarbeiten können, während die Korrektheit gewahrt bleibt

• Bewertung und Integration von Fortschritten in Open-Source-Datensystemen und Validierung ihres Verhaltens und ihrer Leistung im Vergleich zu realen Arbeitslasten

• Untersuchung von Korrektheits- und Leistungsproblemen bei Planung, Ausführung und Speicherung sowie Erstellung von Tests und Benchmarks, die Regressionen verhindern

• Zusammenarbeit mit Produktteams und Kunden, um betriebliche Anforderungen in Engine-Funktionen umzusetzen, die sich in die Sicherheits-, Datenmanagement- und Build-Infrastruktur von Foundry integrieren lassen

Was wir schätzen

• Eigenverantwortliches Denken und eine hohe Messlatte für Korrektheit. Unsere Systeme unterstützen Entscheidungen und Abläufe, auf die Kunden angewiesen sind.

• Neugier auf die Funktionsweise von Datensystemen, von Abfrageoptimierern und Ausführungsoperatoren bis hin zu Tabellenformaten und verteilter Verarbeitung.

• Starke Debugging-Fähigkeiten und Motivation, ein Problem über Sprachen, Dienste und Schichten des Stapels hinweg zu verfolgen.

• Ein praktischer Leistungsansatz, der auf Profilerstellung, repräsentativen Arbeitsbelastungen und messbaren Verbesserungen basiert.

• Interesse an der Anwendung von Deep Systems Engineering auf reale Probleme, mit Einfühlungsvermögen für die Menschen, die unsere Software nutzen und auf sie angewiesen sind.

• Erfahrung im Aufbau oder der Erweiterung von Systemen wie Spark, DataFusion, Iceberg oder vergleichbaren Technologien und Interesse am Lernen über den Stack hinweg.

• Fähigkeit zur teamübergreifenden Zusammenarbeit und effektiven Arbeit mit den Open-Source-Projekten, auf denen wir aufbauen. Erfahrung mit der Mitarbeit an Open-Source-Projekten wird geschätzt, ist aber nicht erforderlich.

Was wir brauchen

• Mehr als 4 Jahre Berufserfahrung in der Softwareentwicklung im Aufbau und Betrieb von Produktionssystemen.

• Ingenieurshintergrund in Informatik, Mathematik, Softwaretechnik, Physik oder einem ähnlichen Bereich oder gleichwertige praktische Erfahrung.

• Starke Programmierkenntnisse mit nachgewiesenen Kenntnissen in einer oder mehreren Sprachen wie Java, Rust, Scala oder C++.

• Erfahrung in der Entwicklung von Datenbank-Engines, verteilten Datenverarbeitungssystemen, Speichersystemen oder vergleichbarer Infrastruktur mit fundierten Kenntnissen in Bereichen wie Abfrageplanung, Ausführung oder Leistungsoptimierung.

• Solide Grundlagen in Algorithmen, Datenstrukturen und Parallelität, mit Erfahrung in der Diagnose von Korrektheits- und Leistungsproblemen in komplexen Systemen.

• Starke schriftliche und mündliche Kommunikationsfähigkeiten und die Fähigkeit, effektiv teamübergreifend zu arbeiten, Feedback einzubeziehen und die Messlatte für Qualität hoch zu halten.

Leben in Palantir

Wir möchten, dass jeder Palantirianer seine besten Ergebnisse erzielt. Deshalb würdigen wir die Stärken, Fähigkeiten und Interessen jedes Einzelnen, vom ersten Vorstellungsgespräch bis zu Ihrem langfristigen Wachstum, anstatt uns auf traditionelle Karriereleitern zu verlassen. Wenn wir auf die Bedürfnisse unserer Gemeinschaft achten, können wir unsere Wachstumschancen optimieren und viele Wege zum Erfolg bei Palantir sicherstellen. Die Förderung von Gesundheit und Wohlbefinden in allen Lebensbereichen der Palantirianer ist nur eine der Möglichkeiten, wie wir in unsere Gemeinschaft investieren. Erfahren Sie mehr unter Life at Palantir und beachten Sie, dass unsere Angebote je nach Region variieren können.…

Quelle: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/palantir/software-engineer-query-engines-london-united-kingdom-116121)