Leitender Software-Ingenieur – LLM Ops & Evals

Jeder KI-Aufruf in DataSnipper läuft über uns. Produktteams sprechen nicht direkt mit Modellanbietern, sondern mit unserem Gateway. Wir sind dafür verantwortlich, wie die Inferenz weitergeleitet wird, wie sie fehlschlägt, was sie kostet und wie jeder erkennen kann, ob die Ausgabe gut ist.
Die zweite Hälfte der Arbeit ist die Bewertung. Wir entwickeln die Plattform, die Teams zur Messung der KI-Qualität nutzen: versionierte Datensätze, Experimentverfolgung und Evaluierungsläufe, auf die sie reagieren können. Es handelt sich um ein schwieriges und weitgehend offenes Problem, sodass Sie echten Einfluss darauf haben, wie wir es lösen.
Dies ist ein kleines Team mit einem großen Explosionsradius. Sie besitzen echte Produktionssysteme, setzen die Standards, nach denen andere Teams aufbauen, und sehen Ihre Arbeit Hunderttausenden Benutzern in der Wirtschaftsprüfung und Finanzabteilung.

Über DataSnipper
Audit und Finanzen sind immer noch weitgehend manuell, und das ändern wir. DataSnipper ist ein 1-Milliarde-Dollar-Einhorn mit mehr als 600.000 Benutzern in über 180 Ländern, das bereits in die täglichen Arbeitsabläufe führender Wirtschaftsprüfungs- und Buchhaltungsfirmen integriert ist.
Jetzt gehen wir mit unserem Excel-Agenten noch einen Schritt weiter und bringen KI direkt dorthin, wo die Arbeit tatsächlich stattfindet. Im Gegensatz zu generischen KI-Tools bleiben wir nicht untätig. Unsere KI arbeitet in Excel und hat Zugriff auf echte Dokumente und Prüfungsnachweise. Das bedeutet, dass sie nicht nur Antworten generiert, sondern auch die Arbeit erledigt, mit vollständiger Rückverfolgbarkeit.
Wir wenden nicht nur KI an, wir definieren die Art und Weise, wie Prüfungen durchgeführt werden, neu. Wenn Sie maßstabsgetreu etwas erstellen möchten, das eine Kategorie definiert, sind Sie hier genau richtig.

Was Sie tun werden
Technische Lieferung

• Besitzen Sie das LLM-Gateway: Routing, Anbieter-Failover, Ratenbegrenzungen, Wiederholungsversuche und Kostenzuordnung über mehrere Modellanbieter hinweg

• Bereitstellung, Versionierung und veraltete Modelle über Clouds, Regionen und Umgebungen hinweg, einschließlich Quoten- und Kapazitätsplanung, verwaltet als Infrastruktur als Code

• Erstellen Sie die gemeinsame Auswertungsplattform: versionierte Datensätze, Experimentverfolgung, Lauf- und Ergebnisschemata, Berichterstellung und Rückverfolgungsverknüpfung zum Lauf

• Besitzen Sie die Infrastruktur für asynchrone und lang laufende KI-Workloads

Zuverlässigkeit, Sicherheit und Rufbereitschaft

• Eigene Beobachtbarkeit für KI-Verkehr: Latenz, Wiederholungsversuche und Fallbacks, Token-Nutzung, Kosten und Fehler, pro Team und pro Anwendungsfall

• Nehmen Sie an der Bereitschaftsrotation teil, führen Sie Vorfälle durch und schließen Sie die Nachverfolgungen ab

• Implementieren Sie die Sicherheits- und Compliance-Kontrollen, denen die Plattform unterliegt: Aufbewahrung, Zugriffskontrolle, RBAC und SSO

Zusammenarbeit und Wirkung

• Definieren und pflegen Sie saubere Integrationsverträge zwischen der Plattform und den Teams, die sie nutzen

• Arbeiten Sie mit Produkt- und ML-Ingenieuren zusammen, um deren Anforderungen in Plattformfunktionen umzuwandeln, die Self-Service und nicht eine Anforderungswarteschlange sind

Was Sie mitbringen werden
Must-Have

• Mehr als 5 Jahre Erfahrung im Backend- oder Plattform-Engineering mit starkem Produktions-Python

• Erfahrung im Aufbau oder Betrieb einer LLM-Inferenzinfrastruktur: ein Gateway oder eine Routing-Ebene mit mehreren Anbietern, Failover, Ratenbegrenzung und Kostenzuordnung

• Erfahrung mit der Cloud auf Infrastrukturebene und Infrastructure as Code (wir nutzen Azure und GCP mit Terraform)

• Erfahrung in der Leitung eines Shared Service in der Produktion: Bereitschaftsdienst, Vorfälle, Obduktionen, SLOs

• Praktische Erfahrung mit Observability-Tools (OpenTelemetry, Grafana), einschließlich Instrumentierungsdiensten und dem Entwerfen von Dashboards und Warnungen

• Komfort bei Datenschutz- und Compliance-Arbeiten: PII-Verwaltung, Anonymisierung, Aufbewahrung, Zugriffskontrolle

• Erleben Sie den Aufbau von Plattform- oder Shared-Service-Funktionen, die von mehreren internen Teams genutzt werden

Nice-to-have

• Erfahrung mit LLM oder Agentenbewertung

• Temporär oder eine andere dauerhafte Workflow-Engine

• Selbstgehostete Inferenz, Kapazitätsplanung, Auslastungstests

• Synthetische Daten- oder Dokumentanonymisierungspipelines

• Dokumenten-KI: VLMs, OCR, strukturierte Extraktion und die dazugehörigen Metriken

• Branchenerfahrung in den Bereichen Wirtschaftsprüfung, Buchhaltung oder Fintech

Was wir erwarten

• Eigenverantwortung: Sie haben die volle Verantwortung für die Arbeit, antizipieren Probleme und stellen eine qualitativ hochwertige Lieferung ohne strenge Aufsicht sicher

• Growth Mindset: Sie fördern den offenen Feedbackaustausch und geben klares, ausgewogenes Feedback, das anderen hilft, zu wachsen

• Zusammenarbeit: Sie bauen starke funktionsübergreifende Beziehungen auf und beeinflussen Kollegen durch Fachwissen, Daten und Empathie

• Anpassungsfähigkeit: Sie gehen ruhig mit Unklarheiten um, zeigen positives Verhalten und helfen Ihren Kollegen durch klare Kommunikation, sich anzupassen

• Urteilsvermögen: Sie verfügen über ein gesundes Urteilsvermögen in unklaren Situationen, gleichen Geschwindigkeit und Genauigkeit aus und passen Prioritäten proaktiv an

Rekrutierungsschritte

• Personalvermittlerbildschirm

• Vorstellungsgespräch mit dem Einstellungsmanager

• Peer-Programmiersitzung

• Systemdesign-Interview

• Abschlussgespräche mit der technischen Leitung

Finden Sie Jobs in den Niederlanden auf Arbeitnow

Quelle: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/datasnipper/senior-software-engineer-llm-ops-evals-amsterdam-323046)