Softwareentwickler, Inferenz

Sie sind dafür verantwortlich, wie die Modelle von Luma bedient werden – Sie integrieren neue Architekturen in die Inferenz-Engine, skalieren Bereitstellungen auf Tausenden von Maschinen und halten teure GPU-Flotten auf Trab, während Sie gleichzeitig interne SLOs einhalten.
Dabei handelt es sich um groß angelegte Inferenzsystemarbeit: Planung, Flottenmanagement, Bereitstellungspipelines und Zuverlässigkeit über Cluster und Hardwareanbieter hinweg. Es eignet sich für einen starken Systemingenieur, der mit der Modellbereitstellung und Kubernetes im großen Maßstab vertraut ist. Wenn Sie reine Modellierung und nicht die Systeme wünschen, die Modelle ausführen, ist dies eindeutig die Systemseite.
Was Sie besitzen werden

• Liefern Sie neue Modellarchitekturen, indem Sie sie in die Inferenz-Engine integrieren.

• Arbeiten Sie in den Bereichen Forschung, Technik und Infrastruktur zusammen, um die Effizienz und Bereitstellung von Modellen zu optimieren.

• Erstellen Sie interne Tools, um die Lebensdauer von Inferenzjobs und Workflows zu messen, zu profilieren und zu verfolgen.

• Automatisieren, testen und warten Sie Inferenzdienste für maximale Betriebszeit und Zuverlässigkeit.

• Verwalten und optimieren Sie Inferenz-Workloads über Cluster und Hardwareanbieter hinweg und skalieren Sie Bereitstellungen auf Tausenden von Maschinen.

• Erstellen Sie Planungssysteme, die teure GPU-Ressourcen optimal nutzen und gleichzeitig SLOs einhalten, und pflegen Sie CI/CD für Modellprüfpunkte und SDKs.

Erste 90 Tage
Eine Möglichkeit, wie sich die ersten 90 entwickeln könnten.

• Tage 1–30 – Eintauchen und Diagnostizieren: Erfahren Sie mehr über den Inferenzstapel, die Flotten und wo Zuverlässigkeit oder Auslastung brechen.

• Tage 30–60 – Versand und Validierung: Integrieren Sie ein Modell oder liefern Sie Tools/Planung, die die Betriebszeit oder GPU-Auslastung verbessern.

• Tage 60–90 – Skalieren und Systematisieren: Härten Sie Bereitstellungspipelines und Planung über Cluster und Anbieter hinweg.

Was Sie mitbringen

• Starke Python- und Systemarchitekturkenntnisse.

• Erfahrung in der Bereitstellung von Modellen mit PyTorch, Hugging Face, vLLM, SGLang, TensorRT-LLM oder ähnlichem.

• Erfahrung mit Warteschlangen, Terminplanung, Verkehrskontrolle und Flottenmanagement im großen Maßstab.

• Erfahrung mit Linux, Docker und Kubernetes sowie mit Orchestrierung, Bereitstellung und Planung.

• Vertrautheit mit Redis und S3-kompatiblem Speicher.

Schön zu haben

• Moderne Netzwerk-Stacks einschließlich RDMA (RoCE, InfiniBand, NVLink).

• Hochleistungsfähige ML-Großsysteme (über 100 GPUs).

• CUDA und FFmpeg oder Multimedia-Verarbeitung.

Über Luma: Lumas Mission ist es, eine einheitliche allgemeine Intelligenz aufzubauen, die in der physischen Welt erzeugen, verstehen und operieren kann. Wir glauben, dass Multimodalität für die Intelligenz von entscheidender Bedeutung ist – der nächste Schritt über Sprachmodelle hinaus kommt von der Vision. Luma ist ein Arbeitgeber, der Chancengleichheit bietet.
Finden Sie Jobs in Großbritannien auf Arbeitnow

Quelle: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/lumaai/software-engineer-inference-london-107112)