MLOps / LLMOps Mühendisi (Orta Seviye)

Irth Çözümleri Hakkında
Irth Solutions, hasar önleme, varlık bütünlüğü, paydaş katılımı ve arazi yönetimi için bulut tabanlı SaaS yazılımının lider sağlayıcısıdır ve enerji, kamu hizmeti, telekom ve altyapı şirketlerinin kritik ağ altyapılarını korumalarına yardımcı olur. Neredeyse otuz yıllık sektör deneyimine sahip olan Irth, Kuzey Amerika'daki müşterilere hizmet veriyor ve platformunu yeni veri odaklı ve yapay zeka destekli yeteneklerle genişletmeye devam ediyor.
MLOps / LLMOps Mühendisi – İçgörüler (AI/ML)
Konum: Uzak – Hindistan
Departman: İçgörüler (AI/ML)
Rapor vereceği kişi: Veri Platformu ve Analitik Yöneticisi
Rol Hakkında
Irth, ürünler arası içgörülerin kilidini açmak, veri yerleşimini güçlendirmek ve müşterilerimiz için AI/ML inovasyonunu hızlandırmak için Databricks üzerinde yönetilen, çoklu bulutlu bir Lakehouse inşa ediyor.
Bu temeli ölçeklenebilir, otomatik, güvenli ve gözlemlenebilir makine öğrenimi ve LLM hizmetlerine dönüştürecek bir MLOps/LLMOps Mühendisi arıyoruz.
Irth'in kilit endüstrilerini destekleyen ML ve GenAI yeteneklerini üretmek için Veri Bilimi, Veri Mühendisliği, Platform, Ürün ve etki alanı ekipleriyle yakın işbirliği içinde çalışacaksınız:

• Hasar Önleme

• Varlık Bütünlüğü

• Arazi Yönetimi

• Paydaş Katılımı

Bu, veri sözleşmeleri, köken, veri kalitesi, güvenlik, CI/CD, model dağıtımı, izleme ve operasyonel güvenilirlik için yeniden kullanılabilir mühendislik modellerinin oluşturulmasında önemli bir roldür.
Modellerin ve LLM uygulamalarının deneme aşamasından üretim aşamasına verimli bir şekilde geçmesini ve yaşam döngüleri boyunca güvenilir, gözlemlenebilir, emniyetli ve uygun maliyetli kalmasını sağlamaya yardımcı olacaksınız.
Temel Sorumluluklar
1. Lakehouse'da ML/LLM Platformunu Oluşturun

• Eğitim, değerlendirme, paketleme, dağıtım ve izleme dahil olmak üzere makine öğrenimi yaşam döngüsünün tamamını Databricks'te operasyonel hale getirin.

• Temel depolama katmanı olarak Delta Lake ile Bronz → Gümüş → Altın madalyon mimarisini kullanarak ML iş akışlarını uygulayın.

• Katalog tabanlı yönetişim, köken, keşif ve erişim kontrolü için model varlıklarını hazırlayarak Unity Katalog model yönetimi için uygulama kalıpları oluşturun.

• ML/LLM işleri, iş akışları ve dağıtım süreçleri için yeniden kullanılabilir şablonlar geliştirin.

• Kurumsal platform korumalarıyla uyumlu ML/LLM iş yükleri için küme politikaları oluşturun ve sürdürün.

• Aşağıdakiler gibi platform standartlarını uygulayın:

• Özel ağ oluşturma

• Zorunlu kaynak etiketleme

• Uzun Süreli Destek (LTS) Databricks Çalışma Zamanı sürümleri

• Güvenli sır yönetimi

• Uygun bilgi işlem politikaları

• Veri Bilimcilerinin ve ML Mühendislerinin modelleri tutarlı ve güvenli bir şekilde dağıtmasına olanak tanıyan yeniden kullanılabilir modeller oluşturun.

2. ML ve LLM Özelliklerini Üretin

• Aşağıdaki gibi kullanım örneklerini destekleyen modeller üretmek için Veri Bilimi ve Ürün ekipleriyle ortaklık yapın:

• Kazı ve altyapı risk puanlaması

• Anormallik tespiti

• Kestirimci bakım

• Jeo-uzaysal zenginleştirme

• Parseller ve irtifak hakları üzerinde Adlandırılmış Varlık Tanıma (NER)

• Paydaş iletişim özeti

• Almayla Artırılmış Üretim (RAG)

• Yapay zeka destekli asistanlar ve karar destek uygulamaları

• Üretim düzeyinde LLM ve RAG işlem hatlarını tasarlayın, inşa edin ve bakımını yapın.

• Databricks Vektör Arama gibi teknolojileri kullanarak vektör arama ve alma mimarilerini uygulayın.

• Model sunma ve çıkarım uç noktalarını dağıtın ve yönetin.

• Çıkarım iş yüklerini performans, ölçeklenebilirlik, güvenilirlik ve maliyet açısından optimize edin.

• Aşağıdakiler gibi optimizasyon tekniklerini uygulayın:

• Kuantizasyon

• Damıtma

• İstem ve yanıtı önbelleğe alma

• Alma optimizasyonu

• Gruplama

• İş ve gecikme gereksinimlerine göre toplu, akışlı ve çevrimiçi çıkarım modellerini uygulayın.

• Öncelikli A/B/C iş yükleri için net hizmet düzeyi beklentileri ve operasyonel SLA'lar oluşturun.

3. ML Yaşam Döngüsünde Mühendis Güvenilirliği, Güvenliği ve Uyumluluğu

• Veri sözleşmelerini ve kalite kapılarını ML ve LLM ardışık düzenlerine entegre edin.

• Aşağıdakiler için otomatik doğrulamayı uygulayın:

• Şema kayması

• Boş eşikler

• Yinelenen kayıtlar

• Referans bütünlüğü

• Veri bütünlüğü

• Özellik kalitesi sorunları

• Hassas veriler özellikler veya modeller tarafından tüketilmeden önce PII tespitini, sınıflandırmasını, maskelemesini ve gizlemesini uygulayın.

• Kod olarak politika aracılığıyla veri yerleşimi gerekliliklerini zorunlu kılın.

• Düzenlenmiş veya hassas Bronz katman verilerinin gerekli coğrafi bölgede kalmasını sağlayın.

• Küresel çalışma alanlarına veya hizmetlere yalnızca uygun şekilde anonimleştirilmiş veya toplanmış verilerin aktarıldığından emin olun.

• Aşağıdakiler de dahil olmak üzere makine öğrenimi yaşam döngüsü boyunca uçtan uca kökeni koruyun: Kaynak tabloları/sütunları → Özellikler → Modeller → Hizmet Uç Noktaları → Uygulamalar/BI

• Uygun izleme ve yönetim kontrol panelleri aracılığıyla köken ve yönetim bilgilerini yüzeye çıkarın.

• ML platformunda güvenlik, uyumluluk, denetim ve erişim-inceleme gereksinimlerini destekleyin.

4. Her Şeyi Otomatikleştirin – CI/CD ve Test

• Ortamlar arasında ML/LLM varlıklarını sürümlendirmek, test etmek ve tanıtmak için Databricks Asset Bundle'ları (DAB'ler) ve GitHub Actions'ı kullanın.

• Promosyonu şu alanlarda otomatikleştirin: DEV → QA → PROD

• PROD'da doğrudan geliştirme yapılmadan, üretim değişikliklerinin kontrollü CI/CD süreçleri aracılığıyla dağıtıldığından emin olun.

• Sürüm ve yönetim:

• İşler

• Defterler

• Yapıları modelleyin

• Küme politikaları

• Yapılandırma

• İzinler

• Dağıtım tanımları

• Otomatik birim, entegrasyon, regresyon ve veri kalitesi test paketleri oluşturun.

• Dağıtım ardışık düzenlerinin bir parçası olarak model kalitesi doğrulamasını uygulayın.

• Üretim yayınından önce iş KPI'larını ve analitik çıktıları Unity Catalog semantik katmanına göre doğrulayın.

• Kalite, güvenlik veya performans gereksinimleri karşılanmadığında modellerin veya uygulamaların ilerlemesini önleyen dağıtım kapıları oluşturun.

5. Gözlemlenebilirlik ve Üretim Operasyonları

• Aşağıdakiler dahil olmak üzere tanımlanmış SLO'ları desteklemek için ML/LLM işlem hatları ve hizmetleri:

•
P1 boru hattı başarısı: ≥%99,5

•
P1 MTTD: ≤5 dakika

•
MTTR: ≤60 dakika…

Kaynak: Himalayalar (https://himalayas.app/companies/irth/jobs/mlops-llmops-engineer-mid-level)