Job
Aus Partner-Feed
Leitender Ingenieur für maschinelles Lernen, LLM-Inferenzoptimierung
Preis auf Anfrage
Details
- Beschäftigungsart
- Vollzeit
- Remote
- Nein
- Unternehmen
- Nebius
Beschreibung
Automatisch aus dem English übersetzt. Der Originaltext ist maßgeblich. Maschinenübersetzung – eine genauere Version wird vorbereitet.
Über Nebius:
Nebius leitet eine neue Ära der Cloud-Infrastruktur für die globale KI-Wirtschaft ein. Wir bauen eine Full-Stack-KI-Cloud-Plattform auf, die Entwickler und Unternehmen von der Daten- und Modellschulung bis hin zur Produktionsbereitstellung unterstützt, ohne die Kosten und Komplexität des Aufbaus einer großen internen KI/ML-Infrastruktur.
Von Ingenieuren für Ingenieure gebaut. Von der groß angelegten GPU-Orchestrierung bis zur Inferenzoptimierung beherrschen wir die schwierigen Probleme in den Bereichen Rechenleistung, Speicher, Netzwerk und angewandte KI.
Wir sind an der Nasdaq (NBIS) notiert und haben unseren Hauptsitz in Amsterdam. Wir verfügen über eine globale Präsenz mit Forschungs- und Entwicklungszentren in Europa, Großbritannien, Nordamerika und Israel. Zu unserem über 1.500-köpfigen Team gehören Hunderte von Ingenieuren mit umfassendem Fachwissen in den Bereichen Hardware, Software und KI-Forschung und -Entwicklung.
Die Rolle
Als Senior Machine Learning Engineer im Applied AI-Team der Nebius Token Factory sind Sie für die Modell- und Endpunktoptimierung von Modellartefakten bis hin zur Produktionsbereitstellung verantwortlich. Ihre Arbeit umfasst Modellinterna, Quantisierung und Modellkomprimierung, spekulative Dekodierung, KV-Cache-Optimierung, Inferenz-Engines, Bereitstellungsarchitektur und Benchmarking, um Latenz, Durchsatz, Speichereffizienz, GPU-Auslastung und Kosten pro Token zu verbessern und gleichzeitig Qualität und Zuverlässigkeit zu gewährleisten.
Sie arbeiten mit Kernel- und Plattformingenieuren zusammen, um Bereitstellungsprobleme zu untersuchen, Konfigurationen zu vergleichen und Leistungs- und Qualitätsrückgänge zu beheben. Sie evaluieren Optimierungen auf Modell- und Engine-Ebene zusammen mit verteilten Inferenzentwürfen, einschließlich Anforderungsrouting, Planung, Koordinierung des Vorfüllens/Decodierens und GPU-Ausführung mit mehreren Knoten. Ihre Verbesserungen werden durch reproduzierbare Benchmarks und sichere Produktionseinführungen unter realen Arbeitslasten validiert.
Ihre Verantwortung
• Eigene Optimierungsprojekte für bestimmte Modellfamilien, Kundenendpunkte oder Serving-Backends.
• Vergleichen Sie Inferenz-Engines und empfehlen Sie Bereitstellungskonfigurationen, die für einzelne Arbeitslasten geeignet sind.
• Diagnostizieren Sie Modellqualitäts- und Leistungsregressionen während der Produktionseinführung.
• Verbessern Sie die LLM- und VLM-Endpunktlatenz, den Durchsatz, die Speichereffizienz, die GPU-Auslastung, die Qualität und die Kosten pro Token.
• Bereitstellung, Konfiguration, Benchmarking und Erweiterung von Engines wie vLLM, SGLang, TensorRT-LLM, Triton Inference Server und NVIDIA Dynamo.
• Entwickeln Sie Arbeitsabläufe zur Komprimierung von Produktionsmodellen, die Quantisierung, quantisierungsbewusstes Training, Destillation, Low-Bit-Serving und Genauigkeitswiederherstellung umfassen.
• Implementieren oder integrieren Sie spekulative Decodierung, Draft-Model-Ansätze, KV-Cache-Optimierung, Präfix-Caching, Chunked Prefill, Continuous Batching und disaggregierte Prefill/Decode-Bereitstellung. Bewerten Sie für die Prefill-Decode-Disaggregation (PDD) die KV-Cache-Übertragung, die Worker-Platzierung und den Kapazitätsausgleich, um zu bestimmen, welche Workloads von der Architektur profitieren.
• Entwerfen und verbessern Sie LLM-Anforderungsrouter und Planungsrichtlinien, die Worker-Auslastung, Warteschlangen, Anforderungsmerkmale und KV-Cache-Lokalität in Einklang bringen und gleichzeitig Latenz- und Zuverlässigkeitsziele erfüllen.
• Skalieren Sie dichte Inferenzen und Expertenmischungen über mehrere GPU-Knoten hinweg. Wählen und optimieren Sie Tensor-, Pipeline-, Daten- und Expertenparallelität – einschließlich breiter Expertenparallelität (WideEP) – unter Berücksichtigung der Hardwaretopologie, der Expertenlastverteilung und des Kommunikationsaufwands.
• Erstellen Sie reproduzierbare Benchmark-Systeme zur Messung von TTFT, TPOT, Token pro Sekunde pro GPU, p95/p99-Latenz, GPU-Speicher, Zuverlässigkeit und Kosten pro Token. Validieren Sie Architekturentscheidungen unter repräsentativem Datenverkehr und konsistenten GPU-Budgets.
• Arbeiten Sie mit GPU-Kernel- und Plattform-Ingenieuren zusammen, um Engpässe auf Modellcode-, Kernel-, Laufzeit-, Scheduler-, Gateway- und Cluster-Ebene aufzuspüren.
• Erstellen Sie Designdokumente, Leistungsberichte, Rollout-Pläne und technische Erklärungen für den Kunden.
Must-haves
• Starke technische Kenntnisse in Python und PyTorch.
• Praktische Erfahrung in der Bereitstellung oder Optimierung von LLM, VLM oder Hochdurchsatz-Transformator-Inferenz.
• Praktische Kenntnisse von mindestens einem modernen Inferenz-Stack, wie z. B. vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe oder einem gleichwertigen internen System.
• Ein umfassendes Verständnis der Engpässe bei der Transformatorinferenz im Zusammenhang mit KV-Cache, Aufmerksamkeit, Speicherbandbreite, Stapelverarbeitung, Parallelität und Langkontextbereitstellung.
• Fähigkeit, Kompromisse zwischen Latenz, Durchsatz, Qualität, Auslastung und Kosten zu quantifizieren.
• Erfahrung im Entwerfen oder Optimieren der Architektur verteilter Inferenzsysteme mit praktischer Arbeit in einem oder mehreren Bereichen wie Anforderungsrouting, verteilter Planung, PDD, Inferenz mit mehreren Knoten oder Expertenparallelität.
• Starke Kommunikations- und Kooperationsfähigkeiten zwischen Forschungs-, Kernel-, Infrastruktur-, Produkt- und Kundenteams.
Nice-to-have
• Erfahrung mit quantisierungsbewusstem Training, Quantisierung nach dem Training, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ oder SmoothQuant.
• Erfahrung mit Destillation, spekulativer Dekodierung, EAGLE, Medusa, Multi-Token-Vorhersage oder verwandten Inferenzbeschleunigungsmethoden.
• Erfahrung in der Unterstützung von Agenten-Workloads mit Tool-Aufrufen, strukturierten Ausgaben, Streaming-APIs, hoher Parallelität und mehrstufiger Orchestrierung.
• Vertrautheit mit CUDA oder Triton; Die Rolle erfordert nicht, dass Kernel-Engineering die primäre Spezialisierung des Kandidaten ist.
• Beiträge zu Open-Source-Projekten wie vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray oder KServe.
• Implementierungserfahrung mit Cache-fähigem Anforderungsrouting, PDD oder WideEP, einschließlich der Diagnose von Kommunikationsengpässen und Lastungleichgewichten.
• Vertrautheit mit GPU-Kommunikationsbibliotheken und -Verbindungen wie NCCL, NVLink, InfiniBand oder RoCE.
Vorteile und Vorteile:
• Wettbewerbsfähige Vergütung
• Karrierewachstum und Lernmöglichkeiten
• Flexibilität und Eigenverantwortung
• Kollaborative und innovative Kultur…
Quelle: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/nebius/senior-machine-learning-engineer-llm-inference-optimization-amsterdam-253701)
Nebius leitet eine neue Ära der Cloud-Infrastruktur für die globale KI-Wirtschaft ein. Wir bauen eine Full-Stack-KI-Cloud-Plattform auf, die Entwickler und Unternehmen von der Daten- und Modellschulung bis hin zur Produktionsbereitstellung unterstützt, ohne die Kosten und Komplexität des Aufbaus einer großen internen KI/ML-Infrastruktur.
Von Ingenieuren für Ingenieure gebaut. Von der groß angelegten GPU-Orchestrierung bis zur Inferenzoptimierung beherrschen wir die schwierigen Probleme in den Bereichen Rechenleistung, Speicher, Netzwerk und angewandte KI.
Wir sind an der Nasdaq (NBIS) notiert und haben unseren Hauptsitz in Amsterdam. Wir verfügen über eine globale Präsenz mit Forschungs- und Entwicklungszentren in Europa, Großbritannien, Nordamerika und Israel. Zu unserem über 1.500-köpfigen Team gehören Hunderte von Ingenieuren mit umfassendem Fachwissen in den Bereichen Hardware, Software und KI-Forschung und -Entwicklung.
Die Rolle
Als Senior Machine Learning Engineer im Applied AI-Team der Nebius Token Factory sind Sie für die Modell- und Endpunktoptimierung von Modellartefakten bis hin zur Produktionsbereitstellung verantwortlich. Ihre Arbeit umfasst Modellinterna, Quantisierung und Modellkomprimierung, spekulative Dekodierung, KV-Cache-Optimierung, Inferenz-Engines, Bereitstellungsarchitektur und Benchmarking, um Latenz, Durchsatz, Speichereffizienz, GPU-Auslastung und Kosten pro Token zu verbessern und gleichzeitig Qualität und Zuverlässigkeit zu gewährleisten.
Sie arbeiten mit Kernel- und Plattformingenieuren zusammen, um Bereitstellungsprobleme zu untersuchen, Konfigurationen zu vergleichen und Leistungs- und Qualitätsrückgänge zu beheben. Sie evaluieren Optimierungen auf Modell- und Engine-Ebene zusammen mit verteilten Inferenzentwürfen, einschließlich Anforderungsrouting, Planung, Koordinierung des Vorfüllens/Decodierens und GPU-Ausführung mit mehreren Knoten. Ihre Verbesserungen werden durch reproduzierbare Benchmarks und sichere Produktionseinführungen unter realen Arbeitslasten validiert.
Ihre Verantwortung
• Eigene Optimierungsprojekte für bestimmte Modellfamilien, Kundenendpunkte oder Serving-Backends.
• Vergleichen Sie Inferenz-Engines und empfehlen Sie Bereitstellungskonfigurationen, die für einzelne Arbeitslasten geeignet sind.
• Diagnostizieren Sie Modellqualitäts- und Leistungsregressionen während der Produktionseinführung.
• Verbessern Sie die LLM- und VLM-Endpunktlatenz, den Durchsatz, die Speichereffizienz, die GPU-Auslastung, die Qualität und die Kosten pro Token.
• Bereitstellung, Konfiguration, Benchmarking und Erweiterung von Engines wie vLLM, SGLang, TensorRT-LLM, Triton Inference Server und NVIDIA Dynamo.
• Entwickeln Sie Arbeitsabläufe zur Komprimierung von Produktionsmodellen, die Quantisierung, quantisierungsbewusstes Training, Destillation, Low-Bit-Serving und Genauigkeitswiederherstellung umfassen.
• Implementieren oder integrieren Sie spekulative Decodierung, Draft-Model-Ansätze, KV-Cache-Optimierung, Präfix-Caching, Chunked Prefill, Continuous Batching und disaggregierte Prefill/Decode-Bereitstellung. Bewerten Sie für die Prefill-Decode-Disaggregation (PDD) die KV-Cache-Übertragung, die Worker-Platzierung und den Kapazitätsausgleich, um zu bestimmen, welche Workloads von der Architektur profitieren.
• Entwerfen und verbessern Sie LLM-Anforderungsrouter und Planungsrichtlinien, die Worker-Auslastung, Warteschlangen, Anforderungsmerkmale und KV-Cache-Lokalität in Einklang bringen und gleichzeitig Latenz- und Zuverlässigkeitsziele erfüllen.
• Skalieren Sie dichte Inferenzen und Expertenmischungen über mehrere GPU-Knoten hinweg. Wählen und optimieren Sie Tensor-, Pipeline-, Daten- und Expertenparallelität – einschließlich breiter Expertenparallelität (WideEP) – unter Berücksichtigung der Hardwaretopologie, der Expertenlastverteilung und des Kommunikationsaufwands.
• Erstellen Sie reproduzierbare Benchmark-Systeme zur Messung von TTFT, TPOT, Token pro Sekunde pro GPU, p95/p99-Latenz, GPU-Speicher, Zuverlässigkeit und Kosten pro Token. Validieren Sie Architekturentscheidungen unter repräsentativem Datenverkehr und konsistenten GPU-Budgets.
• Arbeiten Sie mit GPU-Kernel- und Plattform-Ingenieuren zusammen, um Engpässe auf Modellcode-, Kernel-, Laufzeit-, Scheduler-, Gateway- und Cluster-Ebene aufzuspüren.
• Erstellen Sie Designdokumente, Leistungsberichte, Rollout-Pläne und technische Erklärungen für den Kunden.
Must-haves
• Starke technische Kenntnisse in Python und PyTorch.
• Praktische Erfahrung in der Bereitstellung oder Optimierung von LLM, VLM oder Hochdurchsatz-Transformator-Inferenz.
• Praktische Kenntnisse von mindestens einem modernen Inferenz-Stack, wie z. B. vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe oder einem gleichwertigen internen System.
• Ein umfassendes Verständnis der Engpässe bei der Transformatorinferenz im Zusammenhang mit KV-Cache, Aufmerksamkeit, Speicherbandbreite, Stapelverarbeitung, Parallelität und Langkontextbereitstellung.
• Fähigkeit, Kompromisse zwischen Latenz, Durchsatz, Qualität, Auslastung und Kosten zu quantifizieren.
• Erfahrung im Entwerfen oder Optimieren der Architektur verteilter Inferenzsysteme mit praktischer Arbeit in einem oder mehreren Bereichen wie Anforderungsrouting, verteilter Planung, PDD, Inferenz mit mehreren Knoten oder Expertenparallelität.
• Starke Kommunikations- und Kooperationsfähigkeiten zwischen Forschungs-, Kernel-, Infrastruktur-, Produkt- und Kundenteams.
Nice-to-have
• Erfahrung mit quantisierungsbewusstem Training, Quantisierung nach dem Training, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ oder SmoothQuant.
• Erfahrung mit Destillation, spekulativer Dekodierung, EAGLE, Medusa, Multi-Token-Vorhersage oder verwandten Inferenzbeschleunigungsmethoden.
• Erfahrung in der Unterstützung von Agenten-Workloads mit Tool-Aufrufen, strukturierten Ausgaben, Streaming-APIs, hoher Parallelität und mehrstufiger Orchestrierung.
• Vertrautheit mit CUDA oder Triton; Die Rolle erfordert nicht, dass Kernel-Engineering die primäre Spezialisierung des Kandidaten ist.
• Beiträge zu Open-Source-Projekten wie vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray oder KServe.
• Implementierungserfahrung mit Cache-fähigem Anforderungsrouting, PDD oder WideEP, einschließlich der Diagnose von Kommunikationsengpässen und Lastungleichgewichten.
• Vertrautheit mit GPU-Kommunikationsbibliotheken und -Verbindungen wie NCCL, NVLink, InfiniBand oder RoCE.
Vorteile und Vorteile:
• Wettbewerbsfähige Vergütung
• Karrierewachstum und Lernmöglichkeiten
• Flexibilität und Eigenverantwortung
• Kollaborative und innovative Kultur…
Quelle: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/nebius/senior-machine-learning-engineer-llm-inference-optimization-amsterdam-253701)
Dieses Angebot stammt aus einem Partner-Feed. Bewerben Sie sich auf der Quell-Website.
Quelle: Nebius
Standort
Amsterdam, Niederlande
Inserat bereitgestellt von Nebius.
