Leitender Software-Ingenieur – Abfrageausführung

Hauptsitz: Portugal – abgelegen

Seien Sie Teil des Aufbaus der Zukunft

Dremio ist die einheitliche Lakehouse-Plattform für Self-Service-Analysen und KI und bedient Hunderte von globalen Unternehmen, darunter Maersk, Amazon, Regeneron, NetApp und S&P Global. Kunden verlassen sich auf Dremio für Cloud-, Hybrid- und On-Premise-Lakehouses, um ihre Data Mesh-, Data Warehouse-Migrations-, Datenvirtualisierungs- und einheitlichen Datenzugriffs-Anwendungsfälle voranzutreiben. Basierend auf Open-Source-Technologien, darunter Apache Iceberg und Apache Arrow, bietet Dremio eine offene Lakehouse-Architektur, die schnellste Einblicke und Plattformflexibilität zu einem Bruchteil der Kosten ermöglicht. Erfahren Sie mehr unter www.dremio.com.

Über die Rolle

Das Query Execution-Team von Dremio erstellt die Laufzeitumgebung, die für die Ausführung analytischer Abfragen im großen Maßstab verantwortlich ist. Das Team befindet sich zwischen Abfrageplanung und Tabellenscans und ist Eigentümer der Systeme, die Abfragepläne in eine effiziente und zuverlässige Ausführung umwandeln.

Als Senior Staff Software Engineer arbeiten Sie an Abfrageoperatoren, Ausdrucksauswertung, Speicherverwaltung, Ausführungsplanung, Laufzeitplanung und Leistungsoptimierung. Ihre Arbeit wirkt sich direkt auf die Abfrageleistung, Skalierbarkeit und Zuverlässigkeit der Cloud-Datenplattform von Dremio aus.

Was Sie tun werden

• Erstellen Sie die Ausführungs-Engine: Entwerfen, implementieren, testen und unterstützen Sie Abfrageoperatoren, Ausdrucksauswertung, Ausführungsplanung, Laufzeitplanung und Ressourcenverwaltung.

• Verbessern Sie die Laufzeitleistung: Optimieren Sie vektorisierte Verarbeitung, Parallelität, Parallelität, Speichernutzung, Datenaustausch und Festplattenverschüttung.

• Diagnostizieren Sie schwierige Probleme: Untersuchen Sie Abfragekorrektheits- und Leistungsprobleme mithilfe von Abfrageprofilen, Profilierungstools, Telemetrie, Benchmarks, Protokollen und Produktionsdaten.

• Optimieren Sie Java und die JVM: Verbessern Sie die CPU-Auslastung, das Zuordnungsverhalten, die Speicherbereinigung, das Thread-Verhalten und andere Laufzeiteigenschaften.

• Zusammenarbeit in der gesamten Abfrage-Engine: Arbeiten Sie mit Query Planner-, Datalake-, Produkt-, Support- und Field-Engineering-Teams an End-to-End-Abfrageverbesserungen.

• Verwenden Sie KI-gestützte Entwicklungstools: Wenden Sie KI-Tools für das Codeverständnis, das Debuggen, die Testgenerierung, die Dokumentation und die Vorfallanalyse an.

• Wenden Sie technisches Urteilsvermögen an: Validieren Sie KI-generierten Code und Empfehlungen durch Überprüfung, Tests, Benchmarking und technisches Urteilsvermögen.

• Legen Sie die technische Messlatte höher: Beteiligen Sie sich an Entwurfs- und Codeüberprüfungen, leisten Sie einen Beitrag zur technischen Leitung und betreuen Sie andere Ingenieure.

Was wir suchen

• Erfahrung im Software-Engineering: 5+ Jahre Entwicklung von Produktionssoftware, vorzugsweise in Datenbanksystemen, Abfrageausführung, verteilten Systemen oder verwandten Bereichen.

• Programmierkenntnisse: Starke Java-Kenntnisse; Erfahrung mit C++ ist von Vorteil.

• Grundlagen der Informatik: Starke Grundlagen in Datenstrukturen, Algorithmen, Parallelität, Multithread-Programmierung und asynchroner Programmierung.

• Kenntnisse über Datenbanken und verteilte Systeme: Verständnis von Datenbankinterna, Abfrageverarbeitung, verteilter Ausführung und Leistungsoptimierung.

• Erfahrung im Performance Engineering: Erfahrung in der Profilerstellung und Optimierung von CPU, Speicher, Speicherbereinigung, Thread-Verhalten oder anderen Laufzeitmerkmalen.

• Problemlösungsfähigkeit: Fähigkeit, mehrdeutige technische Probleme zu lösen und über Teamgrenzen hinweg effektiv zu arbeiten.

• Technisches Urteilsvermögen: Fähigkeit, Kompromisse zu bewerten, Lösungen rigoros zu validieren und fundierte Entscheidungen zu treffen, wenn mit unbekannten oder KI-gestützten Implementierungen gearbeitet wird.

• Kommunikation und Eigenverantwortung: Starke Kommunikationsfähigkeiten, ein Gefühl der Eigenverantwortung und die Verpflichtung, qualitativ hochwertige Software bereitzustellen.

Bonuspunkte, falls vorhanden

• Abfrage-Engines: Verteilte Abfrage-Engines, Datenbank-Engines oder große Datenverarbeitungssysteme.

• Ausführungstechniken: Vektorisierte Ausführung, Abfrageoperatoren, Ausdrucksauswertung, Codegenerierung oder Laufzeitoptimierung.

• Laufzeitsysteme: JVM-Profilerstellung, Speicherverwaltung, Caching, Netzwerk, Datenaustausch, Ausführungsplanung oder Festplattenüberlauf.

• Datenplattformen: Apache Arrow, Apache Iceberg, Parquet, Avro, Spark, Hadoop oder Cloud-Objektspeicher.

• Open Source: Mitarbeit an Open-Source-Projekten.

Was wir wertschätzen

Bei Dremio legen wir hohe Maßstäbe an uns selbst, wenn es um Menschen, Denken und Handeln geht. Unsere Gnarlies (so nennen wir unsere Mitarbeiter) kommunizieren klar, fördern Verantwortung und gehen respektvoll miteinander um. Wir konfrontieren brutale Fakten und konzentrieren uns auf Ergebnisse, während wir mit einem Gefühl der Dringlichkeit agieren und ein „Schwungrad“ aufbauen. Menschen, die gerne einsteigen und Impulse geben, werden in unserem #GnarlyLife aufblühen.

Dremio ist ein Arbeitgeber, der Chancengleichheit fördert und die Vielfalt in der Belegschaft fördert. Wir diskriminieren nicht aufgrund von Rasse, Religion, Hautfarbe, nationaler Herkunft, Geschlechtsidentität, sexueller Orientierung, Alter, Familienstand, geschütztem Veteranenstatus, Behindertenstatus oder anderen rechtswidrigen Faktoren.

Dremio ist bestrebt, im Rahmen unseres Bewerbungs- und Vorstellungsgesprächs alle notwendigen Vorkehrungen für Menschen mit Behinderungen zu treffen. Wenn Sie eine Unterkunft aufgrund einer Behinderung beantragen möchten, informieren Sie bitte Ihren Personalvermittler.

Dremio verfügt über Richtlinien zum Schutz der personenbezogenen Daten, die Mitarbeiter und Bewerber uns offenlegen. Bitte klicken Sie hier, um die Datenschutzerklärung zu lesen.

Wichtiger Sicherheitshinweis für Kandidaten

Bei Dremio halten wir Vertrauen und Transparenz als oberste Werte in all unseren Interaktionen mit Kunden, Partnern, Mitarbeitern und der Öffentlichkeit hoch. Wir wurden von Einzelpersonen ins Visier genommen, die ähnliche Domains wie unsere erstellten, um Interessenten und Kandidaten zu betrügen. Bitte beachten Sie, dass alle offiziellen Mitteilungen von uns über eine @dremio.com-Domäne erfolgen. Wenn Sie den Verdacht haben, Opfer eines Betrugs geworden zu sein, müssen Sie den Vorfall unbedingt den örtlichen Strafverfolgungsbehörden melden. Weitere Informationen zu dieser Art von Betrug finden Sie in der offiziellen Stellungnahme von Dremio hier.…

Quelle: Wir arbeiten remote (https://weworkremotely.com/remote-jobs/dremio-senior-staff-software-engineer-query-execution)