Yapay Zeka Mühendisi - Çıkarım

Firmus Teknolojileri

Firmus Technologies, Asya Pasifik'te verimli yapay zeka altyapısının geliştirilmesine ve işletilmesine öncülük eden küresel bir liderdir.

2019 yılında Avustralya'da kurulan misyonumuz, en son teknolojiyi sürdürülebilirliğe olan kararlı bağlılığımızla birleştirerek en verimli yapay zeka altyapısını oluşturmaktır.

Firmus olarak yaklaşımımızda benzersiziz. Yeni bir dijital altyapı sınıfı olan Yapay Zeka Fabrikasını tasarlıyor, inşa ediyor ve işletiyoruz. Modelden şebekeye teknoloji yaklaşımımız sayesinde, çok nesilli sıvı soğutma sistemleri, enerji yönetimi, yapay zeka yazılım orkestrasyonu ve inşaatın sınırlarını zorladık. Müşterilerimiz için bu yaklaşım, her watt'ı dikkate almamıza ve dünya çapında düşük maliyetli AI tokenleri sunmamıza olanak tanır.

Firmus Yapay Zeka Bulutu

Büyük ölçekli GPU bulut platformumuz Firmus AI Cloud, müşterilere uygun ölçekte enerji tasarruflu yapay zeka bilgi işlem sunmak üzere özel olarak tasarlanmıştır.

Geliştiricilere, işletmelere, eğitim kurumlarına ve kamu kullanıcılarına yapay zeka modellerini benzersiz bir verimlilik ve maliyet tasarrufuyla eğitme ve dağıtma yetkisi verir. Sürekli büyüyen hizmet ve uygulama paketiyle pazar lideri, tescilli ve ölçeklenebilir bir bulut deneyimi sunmaya kararlıyız.

Neden Firmus?

Asya Pasifik'teki bir NVIDIA Bulut ve Mühendislik ortağı olarak, yapay zeka endüstrisinde beceriler, deneyimler ve görünürlük kazanacak ve bu sektörün önümüzdeki on yıllar boyunca nasıl görüneceğini şekillendirmenin bir parçası olacaksınız.

Biz kurucuların liderliğindeyiz, büyük bir şirket değiliz. Kararlar hızlı alınır, liderlerimize erişilebilir ve sizinle iş arasında minimum bürokrasi bulunur. Sahiplik erken gelir. Göreviniz ne olursa olsun, uzun vadeli, büyük ölçekli bir yol haritası boyunca ulusal düzeyde ölçeklenirken, işin nasıl büyüyeceğini şekillendirmeye yardımcı olarak sonuçlara doğrudan ulaşacaksınız.

Yapay zeka altyapısı, enerji sistemleri ve yeni nesil bilgi işlem konularında kurucular ve uzmanlarla birlikte çalışın.

Burada inşa ettiğimiz şeyin işin ötesinde bir etkisi var. Yapay Zeka Fabrikalarımız, faaliyet gösterdikleri toplulukları ve bölgeleri onlardan yararlanmak yerine aktif olarak güçlendirmek için enerji şebekesinin varlıkları olarak çalışacak şekilde tasarlanmıştır.

Başvurmayı mı düşünüyorsunuz? Ekibimize katılmak için mükemmel bir geçmişe ihtiyacınız yok. Eğer azimli ve meraklıysanız, sizin için bir yol var. Çalışanlarımızı yeni alanlara açılmaları ve önceki deneyimlerinin ötesinde zorlukların üstesinden gelmeleri için destekliyoruz.

ROL ÖZETİ

Kıdemli Yapay Zeka Mühendisi (Çıkarım), Yapay Zeka ve Uygulamalar ekibinin çıkarım yeteneğini oluşturacak ve geliştirecek, modelleri dahili ürünler, harici müşteriler ve gelecekteki hizmet olarak Çıkarım teklifleri için güvenilir, emniyetli, ölçeklenebilir ve yüksek performanslı uç noktalar olarak kullanılabilir hale getirecek.

Bu rol, kuruluşun yapay zeka fabrikası ortamında hizmet veren, kendi kendine barındırılan model için mühendislik temelini oluşturacaktır. Buna model ekleme, dağıtım, uç nokta provizyonu, çalışma zamanı seçimi, performans kıyaslaması ve optimizasyonu, gözlemlenebilirlik, kapasite yönetimi, güvenlik ve operasyonel yaşam döngüsü yönetimi dahildir. Amaç, performans, maliyet, veri işleme, dağıtım yapılandırması ve altyapı kullanımı üzerindeki kontrolü korurken kullanıcılara modellere öngörülebilir ve verimli erişim sağlamaktır.

Rol, Modelden Izgaraya ürün ve aracı uygulamalar yol haritasına önemli bir katkıda bulunan kişidir. Model ve çalışma zamanı özelliklerini, iş yükü planlama, topolojiye duyarlı yerleştirme, kapasite planlama, performans önerileri ve operasyonel karar alma süreçlerine bilgi verebilecek, karşılaştırmalı, tekrarlanabilir çıkarım tariflerine ve uç nokta profillerine dönüştürecektir. Aynı zamanda akıl yürütme, erişim, araç kullanımı, teşhis, öneri ve kontrollü otomasyon için etmenli sistemlerin ihtiyaç duyduğu yönetilen ve amaca uygun model uç noktalarını da sağlayacaktır.

ANA SORUMLULUKLAR

• Dahili uygulamalar, müşteriye yönelik ürünler ve gelecekteki hizmet olarak çıkarım teklifleri için şirket içinde barındırılan yapay zeka çıkarım hizmetlerini oluşturun, çalıştırın ve sürekli olarak iyileştirin.

• Model alımı, uyumluluk doğrulama, paketleme, çalışma zamanı seçimi, optimizasyon, dağıtım, uç nokta kaydı, test etme, sürüm ve yaşam döngüsü yönetimini kapsayan standart model ekleme iş akışlarını tanımlayın ve uygulayın.

• Etkileşimli oluşturma, RAG, yerleştirmeler, yeniden sıralama, toplu işleme, çok modlu kullanım senaryoları, araç çağırma ve aracılı iş akışları dahil olmak üzere ortak yapay zeka uygulama kalıpları için güvenli, ölçeklenebilir çıkarım uç noktaları sağlayın ve yönetin.

• Kullanıcıların model uç noktalarını talep etmesi, yapılandırması, erişmesi, izlemesi, güncellemesi ve kullanımdan kaldırması için yeniden kullanılabilir dağıtım şablonları, API'ler, SDK'lar, yapılandırma standartları ve self servis iş akışları geliştirin.

• TensorRT-LLM, TensorRT, SGLang, vLLM, Triton Inference Server, NVIDIA Dynamo, NVIDIA NIM, CUDA, cuDNN, NCCL ve ilgili sunum, profil oluşturma ve gözlemlenebilirlik araçları gibi önde gelen çıkarım çerçeveleri ve araç takımlarıyla çalışın.

• Niceleme, derleme, toplu işlem, sürekli toplu işlem, istek yönlendirme, KV önbellek yönetimi, ön ek önbelleğe alma, spekülatif kod çözme, yük dengeleme, model yönlendirme, bellek optimizasyonu ve dağıtılmış paralellik dahil olmak üzere uygun teknikleri kullanarak model sunma performansını optimize edin.

• Uyumlu model sürümlerini, çerçeve ve çalışma zamanı sürümlerini, hassas biçimleri, GPU yapılandırmalarını, topoloji gereksinimlerini, ölçeklendirme yaklaşımlarını, zamanlayıcı profillerini, kıyaslama sonuçlarını ve beklenen performans zarflarını belirten yeniden kullanılabilir çıkarım tarifleri oluşturun ve doğrulayın.

• Kararlaştırılan model kalitesi hedeflerini korurken NVFP4, FP8, INT8, TensorRT derlemesi, çekirdek optimizasyonu, etkili dikkat mekanizmaları ve bellek yönetimi teknikleri gibi niceleme ve optimizasyon yaklaşımlarını kullanın.

• Tensör, ardışık düzen, uzman, bağlam ve uygun olduğu yerde veri paralelliği dahil olmak üzere büyük modeller için dağıtılmış çıkarım yapılandırmaları tasarlayın.…

Kaynak: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/security-engineer-application-greenhouse/ai-engineer-inference-sydney-australia-94778)