Werkstudent - LLM Quantization & Inference Performance

Über Tensordyne (ehemals Recogni)

KI verändert unsere Welt. Es kann kognitive Funktionen ausführen, die bisher nur Menschen leisten konnten, wie etwa die Wahrnehmung von Interaktionen über verschiedene Modalitäten und Umgebungen hinweg – mit der Fähigkeit, schnell zu lernen und komplexe Probleme dann zu lösen. Tensordyne ist ein Unternehmen für KI-Systemlösungen, das generative KI-Inferenzsysteme mit sehr hoher Leistung und geringem Stromverbrauch baut. Unsere Mission ist es, durch die Entwicklung kundenspezifischer Chips, Hardware und Software eine multimodale generative KI-Inferenzbeschleunigung in großem Maßstab mit sicheren, nachhaltigen und leistungsstarken Systemen für unsere Hyperscaler- und Neocloud-Rechenzentrumskunden zu ermöglichen. Wir sind führend bei der Weiterentwicklung der neuesten Forschung und Produktverbesserungen für generative Al-Inferenzlösungen, die Al für überzeugende neue generative KI-Anwendungen noch vorteilhafter machen werden. Tensordyne ist ein gut finanziertes, schnelllebiges Startup-Unternehmen mit Hauptsitzen in Sunnyvale, Kalifornien, und München, Deutschland. Wir haben auch viele talentierte Teammitglieder, die remote in Nordamerika und Europa arbeiten. Wir kümmern uns um unsere Mitarbeiter und ihre Familien mit umfassenden Leistungen, wettbewerbsfähiger Vergütung, flexiblen Ausgabenoptionen und Anerkennungsprogrammen, denn der Aufbau kategoriedefinierender Technologie beginnt mit einem gesunden, unterstützten Team. Seien Sie dabei, wenn wir die Zukunft der multimodalen generativen künstlichen Intelligenz gestalten!

Rollenzusammenfassung

Wie viel numerische Präzision benötigt ein LLM und wo in der Modellarchitektur ist sie am wichtigsten? Wann verbessert die Quantisierung die Laufzeit und was kostet sie an der Modellqualität?

Wir suchen einen motivierten Werkstudenten, der dabei hilft, diese Fragen in Experimente und Experimente in wartbaren Code umzusetzen. Sie erkunden Optimierungsmethoden und erstellen wiederverwendbare Bewertungstools. Sie arbeiten eng mit unseren Quantisierungs-, Compiler- und Laufzeitingenieuren zusammen und Ihre Erkenntnisse werden direkten Einfluss darauf haben, wie wir Modelle für Tensordyne-Hardware optimieren.

Was Sie tun werden

• Bewertung der Modellqualität: Messen Sie, wie sich Berechnungen mit geringer Genauigkeit auf die Leistung bei Codierungs- und Reasoning-Benchmarks auswirken. Diagnostizieren Sie, wo die Quantisierung den größten Einfluss hat.

• Quantisierungsforschung: Implementieren und vergleichen Sie Quantisierungsmethoden nach dem Training, um die Inferenzeffizienz zu verbessern und gleichzeitig die Aufgabengenauigkeit beizubehalten.

• Erstellen Sie reproduzierbare Werkzeuge: Automatisieren Sie Auswertungen, verfolgen Sie Konfigurationen und Ergebnisse und machen Sie Experimente für Ingenieure und KI-Agenten zugänglich.

• Laufzeitleistung messen: Charakterisieren Sie Latenz, Durchsatz und Speichernutzung, um Engpässe in verschiedenen Bereitstellungsszenarien zu verstehen.

Ein erstes Projekt könnte die Erforschung der Qualitäts-Leistungs-Pareto-Grenze eines Qwen- oder LlaMa-Modells umfassen. Sie experimentieren mit 16-Bit-, 8-Bit- und 4-Bit-Quantisierungskonfigurationen, um den besten Kompromiss zwischen Laufzeitqualität und Laufzeitqualität zu finden.

Kernqualifikationen

• Aktuelle Immatrikulation in Informatik, Mathematik, Elektrotechnik, maschinellem Lernen oder einem verwandten Masterstudiengang.

• Starke Python- und PyTorch-Kenntnisse, einschließlich der Fähigkeit, Modellimplementierungen zu verstehen und zu ändern.

• Effektiver Einsatz von KI-Codierungstools und kritische Überprüfung ihrer Ergebnisse.

• Eine experimentelle Denkweise: Sie können Hypothesen formulieren, Vergleiche entwerfen und sorgfältige Schlussfolgerungen aus verrauschten Ergebnissen ziehen.

• Klare Kommunikation und die Fähigkeit, dem Team experimentelle Ergebnisse und technische Kompromisse zu präsentieren.

Starke Pluspunkte: Erfahrung mit Quantisierung, LLM-Bewertung, Leistungsprofilierung oder Inferenzoptimierung.

Diese Rolle ist für Sie geeignet, wenn Sie Verantwortung übernehmen, schnell lernen und von Natur aus proaktiv sind.

Was wir bieten

Werden Sie Teil eines hochtechnologischen Teams, das die nächste Generation von KI-Inferenzsystemen aufbaut. Setzen Sie Ihr Universitätswissen mit führenden Open-Source-LLMs in die Praxis um, vertiefen Sie Ihr Verständnis der Quantisierung und Inferenzoptimierung und bauen Sie Fähigkeiten in experimentellem Design, Software-Engineering und KI-Codierungstools auf. Sie leiten ein zielgerichtetes Projekt, erhalten eine enge Betreuung durch erfahrene Ingenieure und haben Raum für die Erforschung von Ideen, die unsere Optimierungsmethoden prägen.

Die Kultur von Tensordyne basierte auf den folgenden Werten

• Stellen Sie die Menschen an die erste Stelle. Wir haben nur Erfolg, wenn unsere Leute erfolgreich sind.

• Immer Ethik und Integrität. Seien Sie allen gegenüber offen, ehrlich und respektvoll.

• Denken Sie groß. Seien Sie ehrgeizig und haben Sie mutige Ziele.

• Streben Sie nach Exzellenz. Qualität und Exzellenz zählen bei allem, was wir tun.

• Besitzen Sie es und erledigen Sie es. Ergebnisse zählen!

• Jede Person gemeinsam besser machen, als sie es als Einzelperson wäre.

• Akzeptieren Sie die Unterschiede des anderen und akzeptieren Sie, dass es Unterschiede geben wird.

Tensordyne ist ein Arbeitgeber, der Chancengleichheit fördert. Wir glauben, dass vielfältige Teams besser gerüstet sind, um komplexe Probleme zu lösen und außergewöhnliche Technologien zu entwickeln. Alle qualifizierten Bewerber werden für eine Anstellung berücksichtigt, unabhängig von Alter, Hautfarbe, Geschlechtsidentität oder -ausdruck, Familienstand, nationaler Herkunft, Behinderung, geschütztem Veteranenstatus, Rasse, Religion, Schwangerschaft, sexueller Orientierung oder anderen durch geltende Gesetze, Vorschriften und Verordnungen geschützten Merkmalen.

Hinweis für Personalvermittlungsagenturen: Bitte kontaktieren Sie bezüglich dieser Stelle keine Mitarbeiter oder Führungskräfte von Tensordyne. Wir akzeptieren keine unaufgeforderten Lebensläufe von Agenturen und sind nicht für Gebühren verantwortlich, die mit unaufgeforderten Einreichungen verbunden sind.

Finden Sie Jobs in Deutschland auf Arbeitnow

Quelle: Arbeitnow (https://www.arbeitnow.com/jobs/companies/tensordyne/working-student-llm-quantization-inference-performance-munich-124483)