Job
Aus Partner-Feed
Leitender Ingenieur, KI-Plattform
Preis auf Anfrage
Details
- Beschäftigungsart
- Vollzeit
- Remote
- Ja
- Unternehmen
- Circle
Beschreibung
Automatisch aus dem English übersetzt. Der Originaltext ist maßgeblich. Maschinenübersetzung – eine genauere Version wird vorbereitet.
Über uns
Circle baut die weltweit führende KI-gestützte All-in-One-Plattform für digitale Unternehmen auf. Wir ermöglichen es Entwicklern, Trainern, Pädagogen und Unternehmen, ihr Publikum mit spannenden Diskussionen, Live-Streams, Veranstaltungen, Chats, Kursen und Zahlungen an einem Ort und unter ihrer eigenen Marke zusammenzubringen.
Wir sind stolz darauf, ein vollständig dezentrales Unternehmen mit rund 270 (und wachsenden!) Teammitgliedern aus über 30 Ländern auf der ganzen Welt zu sein. Wir suchen außergewöhnliche Menschen auf der ganzen Welt, bereiten sie darauf vor, die beste Arbeit ihres Lebens zu leisten und im Gegenzug einen bedeutsamen Einfluss auf ihr eigenes Leben zu nehmen. Wir erfassen die Stunden nicht, kommen aber den hohen Erwartungen sehr genau nach. Wir arbeiten über Zeitzonen hinweg zusammen, sind stark asynchron und dokumentieren gerne viel.
Zweimal im Jahr bringen wir das gesamte Unternehmen für unsere Firmen-Offsites an wunderschönen Orten auf der ganzen Welt zusammen. Bisher haben wir Offsites in der Türkei, Portugal, Mexiko, Thailand, Kolumbien, Italien, Irland und anderen Ländern veranstaltet, und es werden noch weitere folgen!
Weitere Informationen zur Arbeit bei Circle finden Sie auf unserer Karriereseite.
Über die Rolle
Das AI Quality Engineering-Team von Circle besitzt die Grundlage für die Messung, Diagnose und Verbesserung der Qualität der KI-gestützten Funktionen von Circle. Dieses Team konzentriert sich auf den Aufbau der Infrastruktur zum Messen, Diagnostizieren und Verbessern von Produktions-KI-Systemen und nicht auf ML-Forschung oder Modellschulung.
Wir suchen einen leitenden Ingenieur, der uns beim Aufbau der Bewertungsrahmen, Observability-Tools und Diagnoseinfrastruktur unterstützt, die uns sagen, ob unsere KI-Agenten gut funktionieren, wo wir sie verbessern können und wie wir sie schneller und kosteneffizienter machen können.
Dies ist eine praktische Spieler-Trainer-Rolle. Außerdem leiten und leiten Sie das AI Quality Engineering-Team mit einer ehrgeizigen und wachsenden Roadmap.
Wenn Sie davon begeistert sind, dass KI-Systeme zuverlässig, effizient und maßstabsgetreu funktionieren, ist dies das Richtige für Sie.
Was Sie tun werden
• Aufbau und Besitz unserer Evaluierungsinfrastruktur. Entwerfen Sie die CI/CD-Pipelines, Scorer und Datensätze, die uns sagen, ob die KI-Agenten von Circle (Planer, Tool-Aufrufer und Sub-Agenten) tatsächlich funktionieren, von einem einzelnen Tool-Aufruf bis hin zu einer vollständigen Konversation mit mehreren Runden.
• Diagnostizieren Sie genau, wo die Qualität nachlässt. Verfolgen Sie Fehler in der gesamten Agentenpipeline, einschließlich Planerstellung und -ausführung, Werkzeugauswahl und Werkzeugverlauf in komplexen Bereichen wie Arbeitsabläufen, Site Builder und Analysen. Die Umwandlung Ihrer Erkenntnisse in Prototypen, die das Problem lösen, oder die Ermittlung von Prioritäten für die KI-Kerntechnik können hilfreich sein.
• Erweitern Sie die Datensätze, die eine Auswertung ermöglichen. Richten Sie Anmerkungs-Workflows ein und bauen Sie KI-generierte und simulierte Gespräche auf, damit wir einen größeren Teil des Produkts schneller abdecken können als mit der manuellen Etikettierung allein.
• Führen Sie strukturierte Experimente über Eingabeaufforderungen, Modelle und die Agentenumgebung hinweg durch. Bewerten Sie neue und Open-Source-Modelle anhand unserer Produktionsbasis, erstellen Sie das Framework, mit dem wir entscheiden, wann Modelle verschoben werden sollen, und verfolgen Sie Kosten- und Latenzgewinne durch Modellaustausch, Caching und Routing nach Plankomplexität.
• Führen und erweitern Sie das AI Quality Engineering-Team. Legen Sie die technische Richtung fest und verwalten Sie die täglichen Prioritäten, während Sie selbst am Code arbeiten.
• Enge Zusammenarbeit mit AI Core Engineering. Arbeiten Sie mit den Ingenieuren zusammen, die die KI-Produkte von Circle entwickeln, damit sie wirklich sicher sein können, dass ihre Änderungen tatsächlich die Qualität und nicht nur den Versand verbessern.
Was Sie brauchen, um erfolgreich zu sein
• Mehr als 7 Jahre Erfahrung in der Entwicklung und dem Versand von Produktionssoftware, idealerweise einschließlich LLM-gestützter Agenten, die echte Aktionen in einem Produkt durchführen. Sie haben an komplexen, Werkzeug nutzenden Systemen (mehrere Werkzeuge, Planung oder Orchestrierung, Unteragenten) gearbeitet, nicht nur an einfachen, einstufigen Assistenten, und Sie können uns durch etwas führen, das Sie geliefert haben, und wie Sie wussten, dass es tatsächlich funktioniert.
• Sicher in Ruby on Rails/Python oder bereit, diese schnell zu erlernen. Ruby on Rails ist unser Produktionssystem und die Grundlage, auf der die KI-Agenten von Circle aufbauen. Python-Kenntnisse sind ein großes Plus, insbesondere für die Daten- und Auswertungsseite der Arbeit.
• Erfahrung im Aufbau einer Evaluierungs- oder Observability-Infrastruktur für ML/KI-Systeme. Sie haben bereits Evaluierungspipelines, Scorer, Dashboards oder CI/CD für Evaluierungen erstellt und haben Erfahrung mit Evaluierungsframeworks wie Braintrust, LangSmith oder ähnlichem.
• Erfahrung im Entwerfen von Datensätzen, Anmerkungsworkflows oder Kennzeichnungspipelines für die ML/KI-Bewertung. Sie wissen, wie Sie Rohbeispiele durch menschliche Anmerkungen, KI-generierte Daten oder Simulation in einen Datensatz umwandeln, dem Sie vertrauen können.
• Lernen Sie schnell, experimentieren Sie aggressiv und gedeihen Sie in einem hochdynamischen Umfeld. Sie müssen sich damit auskennen, viele Experimente durchzuführen und den Streit mit den Ergebnissen entscheiden zu lassen, auch mit denen, die nicht funktionieren (was am Anfang viele sein wird).
• Sich in einer schnelllebigen Umgebung mit Unklarheiten wohlfühlen. Sie müssen neue Technologien erlernen und erlernen, wenn Projekte dies erfordern.
• Starke Ausrichtung auf unsere Unternehmenswerte.
• Sie verfügen über gute Englischkenntnisse (mündlich, schriftlich und lesend) auf CEFR-Niveau C2 / ILR-Niveau 5.
Vergütung und Zusatzleistungen
Circle bietet weltweit eine an den USA gemessene Vergütung, Kapitalbeteiligungen am Unternehmen mit fortlaufenden Auffrischungszuschüssen und 35 Tage bezahlte Freistellung pro Jahr.
Wir sind ein reines Remote-Team, das zweimal im Jahr zu Firmen-Retreats an unglaublichen Reisezielen auf der ganzen Welt zusammenkommt. Neben unglaublicher Flexibilität und Autonomie bieten wir ein Leistungspaket, das Gesundheit, Wohlbefinden und berufliches Wachstum unterstützt. Erfahren Sie mehr in unserem Kandidaten-Hub.
Quelle: Jobspresso (https://jobspresso.co/job/lead-engineer-ai-platform/)
Circle baut die weltweit führende KI-gestützte All-in-One-Plattform für digitale Unternehmen auf. Wir ermöglichen es Entwicklern, Trainern, Pädagogen und Unternehmen, ihr Publikum mit spannenden Diskussionen, Live-Streams, Veranstaltungen, Chats, Kursen und Zahlungen an einem Ort und unter ihrer eigenen Marke zusammenzubringen.
Wir sind stolz darauf, ein vollständig dezentrales Unternehmen mit rund 270 (und wachsenden!) Teammitgliedern aus über 30 Ländern auf der ganzen Welt zu sein. Wir suchen außergewöhnliche Menschen auf der ganzen Welt, bereiten sie darauf vor, die beste Arbeit ihres Lebens zu leisten und im Gegenzug einen bedeutsamen Einfluss auf ihr eigenes Leben zu nehmen. Wir erfassen die Stunden nicht, kommen aber den hohen Erwartungen sehr genau nach. Wir arbeiten über Zeitzonen hinweg zusammen, sind stark asynchron und dokumentieren gerne viel.
Zweimal im Jahr bringen wir das gesamte Unternehmen für unsere Firmen-Offsites an wunderschönen Orten auf der ganzen Welt zusammen. Bisher haben wir Offsites in der Türkei, Portugal, Mexiko, Thailand, Kolumbien, Italien, Irland und anderen Ländern veranstaltet, und es werden noch weitere folgen!
Weitere Informationen zur Arbeit bei Circle finden Sie auf unserer Karriereseite.
Über die Rolle
Das AI Quality Engineering-Team von Circle besitzt die Grundlage für die Messung, Diagnose und Verbesserung der Qualität der KI-gestützten Funktionen von Circle. Dieses Team konzentriert sich auf den Aufbau der Infrastruktur zum Messen, Diagnostizieren und Verbessern von Produktions-KI-Systemen und nicht auf ML-Forschung oder Modellschulung.
Wir suchen einen leitenden Ingenieur, der uns beim Aufbau der Bewertungsrahmen, Observability-Tools und Diagnoseinfrastruktur unterstützt, die uns sagen, ob unsere KI-Agenten gut funktionieren, wo wir sie verbessern können und wie wir sie schneller und kosteneffizienter machen können.
Dies ist eine praktische Spieler-Trainer-Rolle. Außerdem leiten und leiten Sie das AI Quality Engineering-Team mit einer ehrgeizigen und wachsenden Roadmap.
Wenn Sie davon begeistert sind, dass KI-Systeme zuverlässig, effizient und maßstabsgetreu funktionieren, ist dies das Richtige für Sie.
Was Sie tun werden
• Aufbau und Besitz unserer Evaluierungsinfrastruktur. Entwerfen Sie die CI/CD-Pipelines, Scorer und Datensätze, die uns sagen, ob die KI-Agenten von Circle (Planer, Tool-Aufrufer und Sub-Agenten) tatsächlich funktionieren, von einem einzelnen Tool-Aufruf bis hin zu einer vollständigen Konversation mit mehreren Runden.
• Diagnostizieren Sie genau, wo die Qualität nachlässt. Verfolgen Sie Fehler in der gesamten Agentenpipeline, einschließlich Planerstellung und -ausführung, Werkzeugauswahl und Werkzeugverlauf in komplexen Bereichen wie Arbeitsabläufen, Site Builder und Analysen. Die Umwandlung Ihrer Erkenntnisse in Prototypen, die das Problem lösen, oder die Ermittlung von Prioritäten für die KI-Kerntechnik können hilfreich sein.
• Erweitern Sie die Datensätze, die eine Auswertung ermöglichen. Richten Sie Anmerkungs-Workflows ein und bauen Sie KI-generierte und simulierte Gespräche auf, damit wir einen größeren Teil des Produkts schneller abdecken können als mit der manuellen Etikettierung allein.
• Führen Sie strukturierte Experimente über Eingabeaufforderungen, Modelle und die Agentenumgebung hinweg durch. Bewerten Sie neue und Open-Source-Modelle anhand unserer Produktionsbasis, erstellen Sie das Framework, mit dem wir entscheiden, wann Modelle verschoben werden sollen, und verfolgen Sie Kosten- und Latenzgewinne durch Modellaustausch, Caching und Routing nach Plankomplexität.
• Führen und erweitern Sie das AI Quality Engineering-Team. Legen Sie die technische Richtung fest und verwalten Sie die täglichen Prioritäten, während Sie selbst am Code arbeiten.
• Enge Zusammenarbeit mit AI Core Engineering. Arbeiten Sie mit den Ingenieuren zusammen, die die KI-Produkte von Circle entwickeln, damit sie wirklich sicher sein können, dass ihre Änderungen tatsächlich die Qualität und nicht nur den Versand verbessern.
Was Sie brauchen, um erfolgreich zu sein
• Mehr als 7 Jahre Erfahrung in der Entwicklung und dem Versand von Produktionssoftware, idealerweise einschließlich LLM-gestützter Agenten, die echte Aktionen in einem Produkt durchführen. Sie haben an komplexen, Werkzeug nutzenden Systemen (mehrere Werkzeuge, Planung oder Orchestrierung, Unteragenten) gearbeitet, nicht nur an einfachen, einstufigen Assistenten, und Sie können uns durch etwas führen, das Sie geliefert haben, und wie Sie wussten, dass es tatsächlich funktioniert.
• Sicher in Ruby on Rails/Python oder bereit, diese schnell zu erlernen. Ruby on Rails ist unser Produktionssystem und die Grundlage, auf der die KI-Agenten von Circle aufbauen. Python-Kenntnisse sind ein großes Plus, insbesondere für die Daten- und Auswertungsseite der Arbeit.
• Erfahrung im Aufbau einer Evaluierungs- oder Observability-Infrastruktur für ML/KI-Systeme. Sie haben bereits Evaluierungspipelines, Scorer, Dashboards oder CI/CD für Evaluierungen erstellt und haben Erfahrung mit Evaluierungsframeworks wie Braintrust, LangSmith oder ähnlichem.
• Erfahrung im Entwerfen von Datensätzen, Anmerkungsworkflows oder Kennzeichnungspipelines für die ML/KI-Bewertung. Sie wissen, wie Sie Rohbeispiele durch menschliche Anmerkungen, KI-generierte Daten oder Simulation in einen Datensatz umwandeln, dem Sie vertrauen können.
• Lernen Sie schnell, experimentieren Sie aggressiv und gedeihen Sie in einem hochdynamischen Umfeld. Sie müssen sich damit auskennen, viele Experimente durchzuführen und den Streit mit den Ergebnissen entscheiden zu lassen, auch mit denen, die nicht funktionieren (was am Anfang viele sein wird).
• Sich in einer schnelllebigen Umgebung mit Unklarheiten wohlfühlen. Sie müssen neue Technologien erlernen und erlernen, wenn Projekte dies erfordern.
• Starke Ausrichtung auf unsere Unternehmenswerte.
• Sie verfügen über gute Englischkenntnisse (mündlich, schriftlich und lesend) auf CEFR-Niveau C2 / ILR-Niveau 5.
Vergütung und Zusatzleistungen
Circle bietet weltweit eine an den USA gemessene Vergütung, Kapitalbeteiligungen am Unternehmen mit fortlaufenden Auffrischungszuschüssen und 35 Tage bezahlte Freistellung pro Jahr.
Wir sind ein reines Remote-Team, das zweimal im Jahr zu Firmen-Retreats an unglaublichen Reisezielen auf der ganzen Welt zusammenkommt. Neben unglaublicher Flexibilität und Autonomie bieten wir ein Leistungspaket, das Gesundheit, Wohlbefinden und berufliches Wachstum unterstützt. Erfahren Sie mehr in unserem Kandidaten-Hub.
Quelle: Jobspresso (https://jobspresso.co/job/lead-engineer-ai-platform/)
Dieses Angebot stammt aus einem Partner-Feed. Bewerben Sie sich auf der Quell-Website.
Quelle: Circle
Inserat bereitgestellt von Circle.
