Job
Aus Partner-Feed
Ingenieur für maschinelles Lernen, Ops
Preis auf Anfrage
Details
- Beschäftigungsart
- Vollzeit
- Remote
- Ja
- Unternehmen
- Cantina Labs
- Level
- Any
Beschreibung
Automatisch aus dem English übersetzt. Der Originaltext ist maßgeblich. Maschinenübersetzung – eine genauere Version wird vorbereitet.
Über Cantina:
Cantina Labs ist ein soziales KI-Unternehmen, das eine Reihe fortschrittlicher Echtzeitmodelle entwickelt, die die Grenzen von Ausdruck, Persönlichkeit und Realismus erweitern. Wir erwecken Charaktere zum Leben und verändern die Art und Weise, wie Menschen Geschichten erzählen, Kontakte knüpfen und etwas erschaffen. Wir bauen und versorgen Ökosysteme. Cantina, unsere führende soziale KI-Plattform, ist nur der Anfang.
Wenn Sie von dem Potenzial der KI zur Gestaltung menschlicher Kreativität und sozialer Interaktionen begeistert sind, bauen Sie gemeinsam mit uns die Zukunft auf!
Über die Rolle:
Wir suchen einen ML-Ingenieur, der den Produktionsinferenzstapel für unsere Text-to-Speech- (TTS) und Spracherkennungsmodelle (ASR) durchgängig verwaltet. Unser Forschungsteam liefert geschulte Modellkontrollpunkte. Sie produzieren sie als Echtzeit-Streaming-Dienste mit geringer Latenz, die kosteneffizient auf GPUs laufen. Die Rolle umfasst die Inferenz-Engines, die Kubernetes-Infrastruktur, auf der sie laufen, sowie das Leistungs-Benchmarking und die Genauigkeitsvalidierung, die es uns ermöglichen, Änderungen sicher zu versenden. Sie verbinden Forschung und Produktion und sind bei der Skalierung für Latenz, Durchsatz, Kosten und Genauigkeit verantwortlich.
Was Sie tun werden:
•
Erstellen und optimieren Sie Streaming-Inferenz-Engines für TTS- und ASR-Modelle, einschließlich mehrstufiger Modellpipelines.
•
Optimieren Sie die Latenz (Zeit bis zum ersten Chunk, p50/p99) und den Durchsatz mithilfe von kontinuierlichem Batching, CUDA-Diagrammen, Torch.Compile und gemischter Präzision.
•
Behalten Sie die numerische Parität mit der Referenzimplementierung durch automatisierte Genauigkeitsregressionstests pro Stufe und Ende bis Ende bei.
•
Stellen Sie GPU-Inferenzdienste auf Kubernetes bereit und betreiben Sie sie: Autoskalierung, Containerisierung und Infrastruktur als Code.
•
Erstellen Sie CI/CD für Modellartefakte mit Modellversionierung und reproduzierbaren Releases.
•
Eigenes Beobachtbarkeits- und Leistungsbenchmarking: p50/p99-Latenz, Echtzeitfaktor (RTF), GPU-Auslastung und Kosten pro Anfrage.
•
Arbeiten Sie mit der Forschung zusammen, um neue Modelle zu produzieren.
Was Sie mitbringen:
•
Praktische Erfahrung in der Bereitstellung, Skalierung und Optimierung von ML-Modellen in der Produktion, über die Nutzung von Modell-APIs hinaus.
•
Praktische Kenntnisse des gesamten Inferenzstapels, von CUDA-Kerneln bis hin zu Serving-Frameworks, mit Vertiefung in einige Schichten; Fachwissen über alle Bereiche wird nicht erwartet.
•
GPU-Leistungsoptimierung: Profilerstellung (Nsight Systems, PyTorch Profiler), Speicherbandbreite, CPU-GPU-Synchronisierung.
•
Solides Verständnis der Modellbereitstellung: kontinuierliche Stapelverarbeitung, KV-Cache-Verwaltung, Anforderungsplanung.
•
Produktionserfahrung mit Kubernetes, CI/CD und Cloud-Infrastruktur.
•
Starkes Python und PyTorch und ein strenger Ansatz für Leistungsbenchmarking.
•
Erfahrung mit Sprach- oder Audiomodellen (TTS, ASR, Sprachkonvertierung).
•
Erfahrung mit Inferenz-Frameworks wie vLLM (vLLM-Omni), SGLang, TensorRT-LLM, TensorRT oder Triton Inference Server.
Vergütung:
Bei der Festlegung der Vergütung werden eine Reihe von Faktoren berücksichtigt, darunter Fähigkeiten, Erfahrung, Tätigkeitsbereich, Standort und Marktdaten für Wettbewerbsvergütungen.
Vorteile für in den USA ansässige Stellen:
•
Wettbewerbsfähiges Gehalt und großzügiges Eigenkapital des Unternehmens
•
Kranken-, Zahn- und Augenversicherung – 99,99 % der Prämien werden von Cantina übernommen
•
42 Tage bezahlte Freistellung, darunter:
•
15 Zapfwellentage
•
10 Krankheitstage
•
15 Betriebsferien
•
2 schwimmende Feiertage
•
Großzügige Elternzeit und Fruchtbarkeitsunterstützung
•
401(k) Altersvorsorgeplan
•
Lifestyle-Ausgabenkonto – 500 $/Monat zur Nutzung nach Ihren Wünschen
•
Kostenloses Mittagessen und Snacks für Mitarbeiter im Büro
•
Eine Medical-Mitgliedschaft und mehr!
Quelle: Jobicy (https://jobicy.com/jobs/160996-machine-learning-engineer-ops)
Cantina Labs ist ein soziales KI-Unternehmen, das eine Reihe fortschrittlicher Echtzeitmodelle entwickelt, die die Grenzen von Ausdruck, Persönlichkeit und Realismus erweitern. Wir erwecken Charaktere zum Leben und verändern die Art und Weise, wie Menschen Geschichten erzählen, Kontakte knüpfen und etwas erschaffen. Wir bauen und versorgen Ökosysteme. Cantina, unsere führende soziale KI-Plattform, ist nur der Anfang.
Wenn Sie von dem Potenzial der KI zur Gestaltung menschlicher Kreativität und sozialer Interaktionen begeistert sind, bauen Sie gemeinsam mit uns die Zukunft auf!
Über die Rolle:
Wir suchen einen ML-Ingenieur, der den Produktionsinferenzstapel für unsere Text-to-Speech- (TTS) und Spracherkennungsmodelle (ASR) durchgängig verwaltet. Unser Forschungsteam liefert geschulte Modellkontrollpunkte. Sie produzieren sie als Echtzeit-Streaming-Dienste mit geringer Latenz, die kosteneffizient auf GPUs laufen. Die Rolle umfasst die Inferenz-Engines, die Kubernetes-Infrastruktur, auf der sie laufen, sowie das Leistungs-Benchmarking und die Genauigkeitsvalidierung, die es uns ermöglichen, Änderungen sicher zu versenden. Sie verbinden Forschung und Produktion und sind bei der Skalierung für Latenz, Durchsatz, Kosten und Genauigkeit verantwortlich.
Was Sie tun werden:
•
Erstellen und optimieren Sie Streaming-Inferenz-Engines für TTS- und ASR-Modelle, einschließlich mehrstufiger Modellpipelines.
•
Optimieren Sie die Latenz (Zeit bis zum ersten Chunk, p50/p99) und den Durchsatz mithilfe von kontinuierlichem Batching, CUDA-Diagrammen, Torch.Compile und gemischter Präzision.
•
Behalten Sie die numerische Parität mit der Referenzimplementierung durch automatisierte Genauigkeitsregressionstests pro Stufe und Ende bis Ende bei.
•
Stellen Sie GPU-Inferenzdienste auf Kubernetes bereit und betreiben Sie sie: Autoskalierung, Containerisierung und Infrastruktur als Code.
•
Erstellen Sie CI/CD für Modellartefakte mit Modellversionierung und reproduzierbaren Releases.
•
Eigenes Beobachtbarkeits- und Leistungsbenchmarking: p50/p99-Latenz, Echtzeitfaktor (RTF), GPU-Auslastung und Kosten pro Anfrage.
•
Arbeiten Sie mit der Forschung zusammen, um neue Modelle zu produzieren.
Was Sie mitbringen:
•
Praktische Erfahrung in der Bereitstellung, Skalierung und Optimierung von ML-Modellen in der Produktion, über die Nutzung von Modell-APIs hinaus.
•
Praktische Kenntnisse des gesamten Inferenzstapels, von CUDA-Kerneln bis hin zu Serving-Frameworks, mit Vertiefung in einige Schichten; Fachwissen über alle Bereiche wird nicht erwartet.
•
GPU-Leistungsoptimierung: Profilerstellung (Nsight Systems, PyTorch Profiler), Speicherbandbreite, CPU-GPU-Synchronisierung.
•
Solides Verständnis der Modellbereitstellung: kontinuierliche Stapelverarbeitung, KV-Cache-Verwaltung, Anforderungsplanung.
•
Produktionserfahrung mit Kubernetes, CI/CD und Cloud-Infrastruktur.
•
Starkes Python und PyTorch und ein strenger Ansatz für Leistungsbenchmarking.
•
Erfahrung mit Sprach- oder Audiomodellen (TTS, ASR, Sprachkonvertierung).
•
Erfahrung mit Inferenz-Frameworks wie vLLM (vLLM-Omni), SGLang, TensorRT-LLM, TensorRT oder Triton Inference Server.
Vergütung:
Bei der Festlegung der Vergütung werden eine Reihe von Faktoren berücksichtigt, darunter Fähigkeiten, Erfahrung, Tätigkeitsbereich, Standort und Marktdaten für Wettbewerbsvergütungen.
Vorteile für in den USA ansässige Stellen:
•
Wettbewerbsfähiges Gehalt und großzügiges Eigenkapital des Unternehmens
•
Kranken-, Zahn- und Augenversicherung – 99,99 % der Prämien werden von Cantina übernommen
•
42 Tage bezahlte Freistellung, darunter:
•
15 Zapfwellentage
•
10 Krankheitstage
•
15 Betriebsferien
•
2 schwimmende Feiertage
•
Großzügige Elternzeit und Fruchtbarkeitsunterstützung
•
401(k) Altersvorsorgeplan
•
Lifestyle-Ausgabenkonto – 500 $/Monat zur Nutzung nach Ihren Wünschen
•
Kostenloses Mittagessen und Snacks für Mitarbeiter im Büro
•
Eine Medical-Mitgliedschaft und mehr!
Quelle: Jobicy (https://jobicy.com/jobs/160996-machine-learning-engineer-ops)
Dieses Angebot stammt aus einem Partner-Feed. Bewerben Sie sich auf der Quell-Website.
Quelle: Cantina Labs
Inserat bereitgestellt von Cantina Labs.