KI-Infrastrukturingenieur, Bedienplattform

Als Softwareentwickler im ML-Infrastrukturteam entwerfen und erstellen Sie Plattformen für die skalierbare, zuverlässige und effiziente Bereitstellung von LLMs. Unsere Plattform unterstützt modernste Forschungs- und Produktionssysteme und unterstützt sowohl interne als auch externe Anwendungsfälle in verschiedenen Umgebungen.

Der ideale Kandidat kombiniert starke ML-Grundlagen mit fundiertem Fachwissen im Backend-Systemdesign. Sie arbeiten in einer Umgebung mit hohem Grad an Zusammenarbeit, in der Forschung und Technik miteinander verbunden werden, um unseren Kunden nahtlose Erlebnisse zu bieten und Innovationen im gesamten Unternehmen zu beschleunigen.

Sie werden:

• Erstellen und warten Sie fehlertolerante Hochleistungssysteme für die Bereitstellung von LLMs und anderen Modellen im großen Maßstab.

• Bauen Sie eine interne Plattform auf, um die Entdeckung von LLM-Fähigkeiten zu ermöglichen.

• Arbeiten Sie mit Forschern und Ingenieuren zusammen, um Modelle für Produktions- und Forschungsanwendungsfälle zu integrieren und zu optimieren.

• Führen Sie Architektur- und Designüberprüfungen durch, um Best Practices für Systemdesign und Skalierbarkeit aufrechtzuerhalten.

• Entwickeln Sie Überwachungs- und Beobachtbarkeitslösungen, um den Zustand und die Leistung des Systems sicherzustellen.

• Leiten Sie Projekte durchgängig, von der Anforderungserfassung bis zur Implementierung, in einer funktionsübergreifenden Umgebung.

Idealerweise hätten Sie:

• Mehr als 4 Jahre Erfahrung im Aufbau großer, leistungsstarker Backend-Systeme.

• Starke Programmierkenntnisse in einer oder mehreren Sprachen (z. B. Python, Go, Rust, C++).

• Erfahrung mit LLM-Serving- und Routing-Grundlagen (z. B. Ratenbegrenzung, Token-Streaming, Lastausgleich, Budgets usw.)

• Erfahrung mit LLM-Funktionen und -Konzepten wie Argumentation, Toolaufruf, Eingabeaufforderungsvorlagen usw.

• Erfahrung mit Containern und Orchestrierungstools (z. B. Docker, Kubernetes).

• Vertrautheit mit Cloud-Infrastruktur (AWS, GCP) und Infrastruktur als Code (z. B. Terraform).

• Nachgewiesene Fähigkeit, komplexe Probleme zu lösen und in schnelllebigen Umgebungen selbstständig zu arbeiten.

Schön zu haben:

• Erfahrung mit modernen LLM-Serving-Frameworks wie vLLM, SGLang, TensorRT-LLM oder Text-Generierung-Inferenz.

BITTE BEACHTEN SIE: Gemäß unseren Richtlinien ist eine Wartezeit von 90 Tagen erforderlich, bevor Kandidaten für die gleiche Position erneut in Betracht gezogen werden. Dadurch können wir eine faire und gründliche Bewertung aller Bewerber gewährleisten.

Über uns:

Unsere Mission bei Scale ist es, zuverlässige KI-Systeme für die wichtigsten Entscheidungen der Welt zu entwickeln. Unsere Produkte stellen die hochwertigen Daten und Full-Stack-Technologien bereit, die die weltweit führenden Modelle antreiben, und unterstützen Unternehmen und Regierungen bei der Entwicklung, Bereitstellung und Überwachung von KI-Anwendungen, die echte Wirkung erzielen. Wir arbeiten eng mit Branchenführern wie Meta, Ernst & Young, Mayo Clinic, Time Inc., der Regierung von Katar und US-Regierungsbehörden wie der Armee und der Luftwaffe zusammen. Wir erweitern unser Team, um die Entwicklung von KI-Anwendungen zu beschleunigen.

Wir glauben, dass jeder in der Lage sein sollte, sein ganzes Selbst bei der Arbeit einzubringen. Deshalb sind wir stolz darauf, ein integrativer und chancengleicher Arbeitsplatz zu sein. Wir setzen uns für gleiche Beschäftigungsmöglichkeiten ein, unabhängig von Rasse, Hautfarbe, Abstammung, Religion, Geschlecht, nationaler Herkunft, sexueller Orientierung, Alter, Staatsbürgerschaft, Familienstand, Behindertenstatus, Geschlechtsidentität oder Veteranenstatus.

Wir sind bestrebt, mit Bewerbern mit körperlichen und geistigen Behinderungen zusammenzuarbeiten und ihnen angemessene Vorkehrungen zu bieten. Wenn Sie aufgrund einer Behinderung Unterstützung und/oder eine angemessene Vorkehrung im Bewerbungs- oder Einstellungsverfahren benötigen, kontaktieren Sie uns bitte unter ----- Weitere Informationen finden Sie im Plakat „Know Your Rights“ des US-Arbeitsministeriums.

Wir halten uns an die Lohntransparenzbestimmung des US-Arbeitsministeriums.

BITTE BEACHTEN SIE: Wir erfassen, speichern und verwenden personenbezogene Daten für unsere beruflichen Geschäftszwecke, einschließlich der Benachrichtigung über Stellenangebote, die für Sie von Interesse sein könnten, und der Weitergabe an unsere verbundenen Unternehmen. Wir beschränken die von uns erfassten personenbezogenen Daten auf das, was unserer Meinung nach angemessen und notwendig ist, um die Bedürfnisse der Bewerber zu erfüllen, unsere Dienstleistungen bereitzustellen und geltende Gesetze einzuhalten. Alle Informationen, die wir im Zusammenhang mit Ihrer Bewerbung sammeln, werden in Übereinstimmung mit unseren internen Richtlinien und Programmen zum Schutz personenbezogener Daten behandelt. Weitere Informationen finden Sie in unserer Datenschutzerklärung.

Finden Sie Jobs in Großbritannien auf Arbeitnow

Quelle: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/scaleai/ai-infrastructure-engineer-serving-platform-london-413534)