Stabsingenieur für maschinelles Lernen, LLM-Inferenzoptimierung

Über Nebius:

Nebius leitet eine neue Ära der Cloud-Infrastruktur für die globale KI-Wirtschaft ein. Wir bauen eine Full-Stack-KI-Cloud-Plattform auf, die Entwickler und Unternehmen von der Daten- und Modellschulung bis hin zur Produktionsbereitstellung unterstützt, ohne die Kosten und Komplexität des Aufbaus einer großen internen KI/ML-Infrastruktur.

Von Ingenieuren für Ingenieure gebaut. Von der groß angelegten GPU-Orchestrierung bis zur Inferenzoptimierung beherrschen wir die schwierigen Probleme in den Bereichen Rechenleistung, Speicher, Netzwerk und angewandte KI.

Wir sind an der Nasdaq (NBIS) notiert und haben unseren Hauptsitz in Amsterdam. Wir verfügen über eine globale Präsenz mit Forschungs- und Entwicklungszentren in Europa, Großbritannien, Nordamerika und Israel. Zu unserem über 1.500-köpfigen Team gehören Hunderte von Ingenieuren mit umfassendem Fachwissen in den Bereichen Hardware, Software und KI-Forschung und -Entwicklung.

Rollenzusammenfassung

Nebius Token Factory erstellt produktionstaugliche Inferenzen für Open-Source-, Kunden- und intern optimierte Modelle. Diese Rolle ist für den Weg vom Modellartefakt zum schnellen, zuverlässigen und kosteneffizienten Endpunkt verantwortlich. Die Arbeit liegt an der Schnittstelle zwischen Modellinterna, Inferenz-Engines, Serving-Architektur, Benchmarking und Produktionsbereitstellung.

Was Sie tun werden

•
Besitzen Sie eine Optimierungssäule auf Plattformebene wie Quantisierung, spekulative Dekodierung, KV-Cache-Optimierung, Engine-Auswahl oder Long-Context-Serving.

•
Erstellen Sie wiederverwendbare Evaluierungs-, Benchmarking- und Rollout-Frameworks für mehrere Modellfamilien.

•
Bieten Sie MLEs, angewandten Wissenschaftlern, GPU-Kernel-Ingenieuren und Infrastrukturingenieuren technische Anweisungen zu gemeinsamen Leistungszielen.

•
Optimieren Sie LLM- und VLM-Endpunkte hinsichtlich Latenz, Durchsatz, Speichereffizienz, GPU-Auslastung, Qualität und Kosten pro Token.

•
Stellen Sie Inferenz-Engines wie vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo oder ähnliche Systeme bereit, konfigurieren Sie sie, vergleichen Sie sie und erweitern Sie sie.

•
Erstellen und produzieren Sie Modellkomprimierungs-Workflows, einschließlich Quantisierung, quantisierungsbewusstes Training, Destillation, Low-Bit-Serving und Genauigkeitswiederherstellung.

•
Implementieren oder integrieren Sie spekulative Decodierung, Entwurfsmodell-Ansätze, KV-Cache-Optimierung, Präfix-Caching, Chunked Prefill, Continuous Batching und disaggregierte Prefill/Decode-Bereitstellung.

•
Erstellen Sie reproduzierbare Benchmark-Systeme für TTFT, TPOT, Token pro Sekunde pro GPU, p95/p99-Latenz, GPU-Speicher, Zuverlässigkeit und Kosten pro Token.

•
Arbeiten Sie mit GPU-Kernel-Ingenieuren und Plattform-Ingenieuren zusammen, um Engpässe auf Modellcode-, Kernel-, Laufzeit-, Scheduler-, Gateway- und Clusterebene zu diagnostizieren.

•
Schreiben Sie klare Designdokumente, Leistungsberichte, Rollout-Pläne und kundenorientierte technische Erklärungen.

Erforderliche Qualifikationen

•
Starke technische Kenntnisse in Python und PyTorch.

•
Praktische Erfahrung in der Bereitstellung oder Optimierung von LLM-, VLM- oder Hochdurchsatz-Transformator-Inferenzsystemen.

•
Praktische Kenntnisse von mindestens einem modernen Inferenz-Stack wie vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe oder gleichwertigen internen Systemen.

•
Ausgeprägtes Verständnis der Engpässe bei Transformator-Inferenzen, einschließlich KV-Cache, Aufmerksamkeit, Speicherbandbreite, Stapelverarbeitung, Parallelität und Langkontextbereitstellung.

•
Fähigkeit, quantitativ über Latenz, Durchsatz, Qualität, Auslastung und Kostenkompromisse nachzudenken.

•
Starke Kommunikationsfähigkeiten und Fähigkeit zur Zusammenarbeit mit Forschungs-, Kernel-, Infrastruktur-, Produkt- und Kundenteams.

Bevorzugte Qualifikationen

•
Erfahrung mit quantisierungsbewusstem Training, Quantisierung nach dem Training, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ, SmoothQuant oder verwandten Techniken.

•
Erfahrung mit Destillation, spekulativer Dekodierung, EAGLE, Medusa, Multi-Token-Vorhersage oder anderen Methoden zur Inferenzbeschleunigung.

•
Erfahrung mit Agenten-Workloads, einschließlich Tool-Aufrufen, strukturierten Ausgaben, Streaming-APIs, hoher Parallelität und mehrstufiger Orchestrierung.

•
CUDA- oder Triton-Vertrautheit, auch wenn die Rolle nicht in erster Linie eine Kernel-Engineering-Rolle ist.

•
Open-Source-Beiträge zu vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray, KServe oder verwandten Projekten.

Vorteile und Vorteile:

• Wettbewerbsfähige Vergütung

• Karrierewachstum und Lernmöglichkeiten

• Flexibilität und Eigenverantwortung

• Kollaborative und innovative Kultur

• Möglichkeit, an wirkungsvollen KI-Projekten zu arbeiten

• Internationales Umfeld und talentierte Teams

Wie ist es, bei Nebius zu arbeiten:

Schnelllebig – Mutiges Denken – Ständiges Wachstum – Bedeutende Wirkung – Vertrauen und echte Eigenverantwortung – Chance, die Zukunft der KI zu gestalten

Erklärung zur Chancengleichheit:

Nebius ist ein Arbeitgeber, der Chancengleichheit fördert. Wir setzen uns dafür ein, einen integrativen und vielfältigen Arbeitsplatz zu fördern und in allen Beschäftigungsbereichen gleiche Beschäftigungsmöglichkeiten zu bieten. Wir diskriminieren nicht aufgrund von Rasse, Hautfarbe, Religion, Geschlecht (einschließlich Schwangerschaft), nationaler Herkunft, Abstammung, Alter, Behinderung, genetischen Informationen, Familienstand, Veteranenstatus, sexueller Orientierung, Geschlechtsidentität oder -ausdruck oder anderen durch geltendes Recht geschützten Merkmalen.

Bewerber müssen eine Arbeitserlaubnis in dem Land haben, in dem sie sich bewerben, und müssen als Einstellungsvoraussetzung einen Nachweis über die Beschäftigungsberechtigung vorlegen.

Wenn Sie während des Bewerbungsprozesses eine Unterkunft benötigen, teilen Sie uns dies bitte mit.

Finden Sie Jobs in Deutschland auf Arbeitnow

Quelle: Arbeitnow (https://www.arbeitnow.com/jobs/companies/nebius/staff-machine-learning-engineer-llm-inference-optimization-berlin-249546)