Leitender Ingenieur für maschinelle Lernsysteme

Hims & Hers ist die führende Gesundheits- und Wellnessplattform mit der Mission, der Welt durch die Kraft besserer Gesundheit dabei zu helfen, sich großartig zu fühlen. Wir definieren die Gesundheitsversorgung neu, indem wir den Kunden in den Mittelpunkt stellen und einen Zugang zu einer Gesundheitsversorgung ermöglichen, die erschwinglich, zugänglich und persönlich ist, von der Diagnose über die Behandlung bis hin zur Entbindung. Keine zwei Menschen sind gleich, deshalb bieten wir Zugang zu einer personalisierten, auf Ergebnisse ausgerichteten Pflege. Indem wir die Herausforderungen im Gesundheits- und Wellnessbereich normalisieren und innovative Lösungen entwickeln, machen wir es einfacher, bessere Gesundheitsergebnisse zu erzielen.

Hims & Hers ist ein börsennotiertes Unternehmen, das an der NYSE unter dem Tickersymbol „HIMS“ gehandelt wird. Um mehr über die Marke und die Angebote zu erfahren, besuchen Sie hims.com/about und hims.com/how-it-works. Informationen zu den herausragenden Vorteilen, der Kultur und dem talentorientierten flexiblen/Remote-Arbeitsansatz des Unternehmens finden Sie unten und unter www.hims.com/careers-professionals.

Über die Rolle:

Wie machen wir fortschrittliche KI/ML nicht nur leistungsstark, sondern auch vertrauenswürdig genug, um in einer regulierten Gesundheitsumgebung zu funktionieren? Wir suchen einen leitenden Ingenieur, der diese Frage vollständig beantworten kann: die Datenpipelines, die unsere Modelle und Bewertungen versorgen, und die Bewertungsinfrastruktur – Richter, Bewerter, statistische Regressionsgatter, Red-Team-Tests –, die entscheidet, ob KI-Modelle effektiv und sicher für die Lieferung an Patienten sind.

Dies ist eine Führungsrolle für jemanden, der fachübergreifend arbeiten kann. Sie legen die technische Richtung dafür fest, wie wir die Daten und Beurteilungen, anhand derer unsere KI-Produkte bewertet werden, erstellen, versionieren und ihnen vertrauen. Ihr Tätigkeitsbereich erstreckt sich von der Aufnahme von Rohdaten und Feature-/Datensatz-Pipelines über Bewertungsmethoden und statistische Genauigkeit bis hin zu Berichtsoberflächen, die es klinischen und Produktteams ermöglichen, auf das zu reagieren, was wir gelernt haben.

Sie werden die meiste Zeit mit Problemen verbringen, für die es kein bestehendes Regelwerk gibt: mehrdeutig, teamübergreifend und wirklich schwer zu begründen. Die Aufgabe besteht darin, Klarheit in diese Unklarheiten zu bringen, einen Weg aufzuzeigen, dem der Rest des Teams und der Organisation folgen kann, und ihn von der Idee bis zur Produktion zu begleiten und dabei die Beziehungen und die Zustimmung aufzubauen, damit er haften bleibt.

Sie werden:

Übernehmen Sie die gesamte Bewertung, nicht nur einen Teil davon

•
Legen Sie die technische Richtung für unsere Bewertungssysteme fest. Metrik, Richter- und Bewerterdesign, die statistische Methodik hinter Regressionsentscheidungen und die Infrastruktur, die Fehler im Laufe der Zeit verfolgt und kategorisiert.

•
Entwerfen und skalieren Sie die Datenpipelines – Erfassung, Transformation, Datensatzversionierung, Kennzeichnung und Kalibrierungsworkflows –, von denen sowohl die Auswertung als auch die nachgelagerte datenwissenschaftliche Arbeit abhängen.

•
Gehen Sie Herausforderungen bei der Skalierung und Komplexitätsbewertung der KI proaktiv an.

Leiten Sie Projekte, die Teams und Viertel umfassen

•
Definieren Sie, wie wir jeden neuen KI-Dienst von Grund auf bewerten. Fördern Sie Multi-Team-Initiativen wie das Ersetzen manueller, inkonsistenter Überprüfungsprozesse durch statistisch fundierte, automatisierte Gates.

•
Verstehen Sie unseren Ansatz zur kontradiktorischen und Red-Team-Bewertung als Programm zur Risikominderung und entwerfen Sie Testsuiten und Fehlertaxonomien, die Sicherheits- und Randfallprobleme erkennen, bevor sie den Patienten erreichen.

•
Behandeln Sie komplexe, teamübergreifende technische Meinungsverschiedenheiten und fördern Sie die Abstimmung zwischen Technik-, Produkt- und KI-Führungskräften.

Verwandeln Sie schwierige, mehrdeutige Probleme in Lösungen, auf denen andere Teams aufbauen können

•
Entwickeln Sie neue Ansätze und Methoden, die zu einem wiederverwendbaren Standard und nicht zu einer einmaligen Lösung werden.

•
Behandeln Sie vage, teamübergreifende Schwachstellen („Wir machen das manuell und es ist inkonsistent“) von einer groben Idee bis hin zu einem vollständig spezifizierten, ausgelieferten System, ohne dass Sie einen Teil der Reise abgeben müssen.

•
Leiten Sie wichtige Plattformverbesserungen; Neustrukturierung der Kernsysteme, Beseitigung brüchiger Logik, Modernisierung der Abläufe mit Auswirkungen, die sich auf die gesamte Organisation auswirken, nicht nur auf Ihr eigenes Team.

Erweitern Sie die Menschen und das Netzwerk um Sie herum

•
Bauen Sie echte Arbeitsbeziehungen in den Bereichen ML-Engineering, Datenwissenschaft, Plattform-Engineering, Klinik, Recht und Produkt auf – die Art von Vertrauen, die Sie frühzeitig einbindet, bevor Entscheidungen feststehen.

•
Werden Sie zum Ansprechpartner für Bewertungsmethodik und Datenpipeline-Design: Teilen Sie in internen Gesprächen mit, was Sie gelernt haben, schreiben Sie Dinge auf, damit andere Teams sie nutzen können, und erwarten Sie, dass Ihre Ideen die Herangehensweise anderer an ähnliche Probleme beeinflussen.

•
Betreuen Sie andere Ingenieure, auch erfahrene, und helfen Sie dabei, die technische und statistische Messlatte der Teams, mit denen Sie zusammenarbeiten, höher zu legen.

Sie haben:

•
Mehr als 10 Jahre Erfahrung in ML-Infrastruktur, Datentechnik oder Evaluierungs-/Testsystemen mit einer Erfolgsbilanz, die über ein einzelnes Team oder Projekt hinausgeht.

•
Praktische Tiefe in Bewertungssystemen: Entwerfen und Kalibrieren von LLM-Juroren/-Scorern, Entwicklung einer statistisch fundierten Regressionstestmethodik (z. B. gepaarter Signifikanztest mit korrekter Korrektur für mehrere Vergleiche), Messung der Übereinstimmung mit menschlichen Etiketten und Entwicklung von kontradiktorischen/roten Team-Bewertungsansätzen.

•
Praktische Tiefe in der Datenpipeline-Entwicklung: Datensatzversionierung, Feature- und Benchmark-Pipelines, Kennzeichnungs- und Kalibrierungsworkflows sowie Hochdurchsatz-Aufnahme- und Transformationssysteme.

•
Eine Geschichte des Aufbaus von Dingen, die für andere zum Standardansatz wurden – nicht nur die Lösung des eigenen Problems, sondern die Veränderung der Art und Weise, wie eine breitere Gruppe von Menschen eine Problemkategorie angeht.

•
Erfahrung in der Leitung von Projekten mit mehreren Teams bis zum Abschluss, einschließlich der Bewältigung und Lösung echter technischer Meinungsverschiedenheiten auf dem Weg dorthin.

•
Eine Erfolgsbilanz bei der Betreuung anderer Ingenieure, auch hochrangiger Ingenieure, und bei der sichtbaren Erhöhung der Messlatte für die Teams um Sie herum.

•
Hervorragende Kommunikation – problemlose Adaption derselben Idee für unterschiedliche Zielgruppen und sichere Unterstützung beim Aufbau der Unterstützung dafür lange vor der Veröffentlichung.

•
Starkes Python und genügend statistische Kenntnisse, um ein Test-Framework zu entwerfen und zu verteidigen, auf dem echte Produktionsentscheidungen basieren.

Schön zu haben:…

Quelle: Jobicy (https://jobicy.com/jobs/154909-sr-staff-machine-learning-systems-engineer)