Ingénieur IA - Inférence

Firmus Technologies

Firmus Technologies est un leader mondial pionnier dans le développement et l’exploitation d’infrastructures d’IA efficaces dans la région Asie-Pacifique.

Fondée en Australie en 2019, notre mission est de créer l'infrastructure d'IA la plus efficace en combinant une technologie de pointe avec un engagement ferme en faveur du développement durable.

Chez Firmus, nous sommes uniques dans notre approche. Nous concevons, construisons et exploitons une nouvelle classe d’infrastructure numérique : l’AI Factory. Grâce à notre approche technologique du modèle au réseau, nous avons repoussé les limites des systèmes de refroidissement liquide multigénérationnels, de la gestion de l'énergie, de l'orchestration des logiciels d'IA et de la construction. Pour nos clients, cette approche nous permet de faire en sorte que chaque watt compte et de fournir des jetons d'IA à faible coût à l'échelle mondiale.

Firmus IA Cloud

Notre plate-forme cloud GPU à grande échelle, Firmus AI Cloud, est spécialement conçue pour fournir aux clients un calcul d'IA économe en énergie à grande échelle.

Il permet aux développeurs, aux entreprises, aux établissements d'enseignement et aux utilisateurs gouvernementaux de former et de déployer des modèles d'IA avec une efficacité et des économies de coûts inégalées. Avec une suite de services et d'applications en constante évolution, nous nous engageons à offrir une expérience cloud leader du marché, propriétaire et conçue pour évoluer.

Pourquoi Firmus ?

En tant que partenaire NVIDIA Cloud et ingénierie en Asie-Pacifique, vous acquerrez des compétences, de l'expérience et une visibilité dans l'ensemble du secteur de l'IA et contribuerez à façonner ce à quoi ressemblera ce secteur pour les décennies à venir.

Nous sommes dirigés par nos fondateurs et non par une grande entreprise. Les décisions sont rapides, nos dirigeants sont accessibles et il y a un minimum de bureaucratie entre vous et le travail. La propriété arrive tôt. Quel que soit votre rôle, vous aurez un lien direct avec les résultats, contribuant ainsi à façonner la croissance de l'entreprise à mesure que nous nous développons à l'échelle nationale sur une feuille de route à long terme et à grande échelle.

Travaillez aux côtés de fondateurs et d’experts en infrastructure d’IA, en systèmes énergétiques et en calcul de nouvelle génération.

Ce que nous construisons ici a un impact au-delà de l’entreprise. Nos usines d'IA sont conçues pour fonctionner comme des atouts du réseau énergétique afin de renforcer activement les communautés et les régions dans lesquelles elles opèrent plutôt que d'en tirer profit.

Vous envisagez de postuler ? Vous n'avez pas besoin d'un bagage parfait pour rejoindre notre équipe. Si vous êtes motivé et curieux, il y a un chemin pour vous. Nous aidons nos collaborateurs à évoluer dans de nouveaux domaines et à relever des défis au-delà de leur expérience précédente.

RÉSUMÉ DU RÔLE

L'ingénieur principal en IA (inférence) créera et améliorera la capacité d'inférence de l'équipe IA et applications, en rendant les modèles disponibles sous forme de points de terminaison fiables, sécurisés, évolutifs et hautes performances pour les produits internes, les clients externes et les futures offres d'inférence en tant que service.

Le rôle établira la base d’ingénierie pour le modèle auto-hébergé servant dans l’environnement d’usine d’IA de l’organisation. Cela comprend l'intégration du modèle, le déploiement, l'approvisionnement des points de terminaison, la sélection du runtime, l'analyse comparative et l'optimisation des performances, l'observabilité, la gestion de la capacité, la sécurité et la gestion du cycle de vie opérationnel. L'objectif est de fournir aux utilisateurs un accès prévisible et efficace aux modèles tout en gardant le contrôle sur les performances, les coûts, la gestion des données, la configuration du déploiement et l'utilisation de l'infrastructure.

Le rôle est un contributeur clé à la feuille de route du produit Model-to-Grid et des applications agentiques. Il convertira les caractéristiques du modèle et de l'exécution en recettes d'inférence et en profils de point de terminaison référencés et reproductibles qui peuvent éclairer la planification de la charge de travail, le placement tenant compte de la topologie, la planification des capacités, les recommandations de performances et la prise de décision opérationnelle. Il fournira également les points de terminaison de modèle gouvernés et adaptés aux besoins nécessaires aux systèmes agents pour le raisonnement, la récupération, l'utilisation d'outils, le diagnostic, la recommandation et l'automatisation contrôlée.

PRINCIPALES RESPONSABILITÉS

• Créer, exploiter et améliorer continuellement les services d'inférence d'IA auto-hébergés pour les applications internes, les produits destinés aux clients et les futures offres d'inférence en tant que service.

• Définir et mettre en œuvre des flux de travail standard d'intégration de modèles couvrant l'admission de modèles, la validation de compatibilité, l'empaquetage, la sélection d'exécution, l'optimisation, le déploiement, l'enregistrement des points finaux, les tests, la publication et la gestion du cycle de vie.

• Provisionner et gérer des points de terminaison d'inférence sécurisés et évolutifs pour les modèles d'applications d'IA courants, notamment la génération interactive, le RAG, l'intégration, le reclassement, le traitement par lots, les cas d'utilisation multimodaux, les appels d'outils et les flux de travail agents.

• Développer des modèles de déploiement réutilisables, des API, des SDK, des normes de configuration et des flux de travail en libre-service permettant aux utilisateurs de demander, configurer, accéder, surveiller, mettre à jour et retirer les points de terminaison du modèle.

• Travaillez avec les principaux frameworks et boîtes à outils d'inférence, tels que TensorRT-LLM, TensorRT, SGLang, vLLM, Triton Inference Server, NVIDIA Dynamo, NVIDIA NIM, CUDA, cuDNN, NCCL et les outils de service, de profilage et d'observabilité associés.

• Optimiser les performances de diffusion de modèles à l'aide de techniques appropriées, notamment la quantification, la compilation, le traitement par lots, le traitement par lots continu, le routage des requêtes, la gestion du cache KV, la mise en cache des préfixes, le décodage spéculatif, l'équilibrage de charge, le routage de modèles, l'optimisation de la mémoire et le parallélisme distribué.

• Créez et validez des recettes d'inférence réutilisables qui spécifient les versions de modèle compatibles, les versions de framework et d'exécution, les formats de précision, les configurations GPU, les exigences de topologie, les approches de mise à l'échelle, les profils de planificateur, les résultats de référence et les enveloppes de performances attendues.

• Utiliser des approches de quantification et d'optimisation telles que NVFP4, FP8, INT8, la compilation TensorRT, l'optimisation du noyau, des mécanismes d'attention efficaces et des techniques de gestion de la mémoire tout en maintenant les objectifs convenus de qualité du modèle.

• Concevoir des configurations d'inférence distribuées pour les grands modèles, y compris le parallélisme de tenseur, de pipeline, d'expert, de contexte et de données, le cas échéant.…

Source : Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/security-engineer-application-greenhouse/ai-engineer-inference-sydney-australia-94778)