Altyapı Mühendisi (Depolama)

Biz Kimiz

Lightning AI, PyTorch Lightning'in arkasındaki şirkettir. 2019'da kurulan AI sistemlerini geliştirmek, eğitmek ve dağıtmak için uçtan uca bir platform oluşturuyoruz; bu platform, fikirleri araştırmadan üretime daha az sorunla taşımak için tasarlandı.

Bir neocloud ve Yapay Zeka Fabrikası olan Gerilim Park ile birleşmemiz sayesinde Lightning AI, geliştiriciye öncelik veren yazılımı uygun maliyetli, büyük ölçekli bilgi işlemle birleştiriyor. Ekipler deney, eğitim ve üretim çıkarımı için ihtiyaç duydukları araçları yerleşik güvenlik, gözlemlenebilirlik ve kontrol özellikleriyle elde eder.

Yalnız araştırmacılara, yeni kurulan şirketlere ve büyük işletmelere hizmet veriyoruz. Lightning AI, New York City, San Francisco, Seattle ve Londra'daki ofisleriyle dünya çapında faaliyet gösteriyor ve Coatue, Index Ventures, Bain Capital Ventures ve Firstminute tarafından destekleniyor.

Çalışma Şeklimiz

Burada başarılı olan insanlar hızlı hareket eden, açık iletişim kuran, sahip çıkan ve kendilerini, ekiplerini ve şirketimizi sürekli geliştiren inşaatçılardır. İşte pratikte şöyle görünüyor:

•
Aciliyetle Hareket Edin: Hızlı hareket ederiz, düşünceli kararlar alırız ve ivmeyi koruruz. Mükemmellikten çok eyleme değer veririz ve yaşayarak öğreniriz.

•
Sahiplenme: Sadece bireysel çalışmalarımızın değil, sonuçların da sahibiyiz. Şirketi ileriye taşıyacak ve takip edecek kararlar alırız.

•
Açık İletişim Kurun: Doğrudan iletişim kurarız, anlamaya çalışırız ve başkaları için açıklık yaratırız. Dürüst konuşmalar birlikte daha hızlı ilerlememize yardımcı olur.

•
Harika Ekipler Oluşturun: Örnek olarak liderlik ediyoruz, başkalarına güç veriyoruz ve insanların ellerinden gelenin en iyisini yapabilecekleri sağlıklı ekipler oluşturuyoruz.

•
Çıtayı Yükselt: Her zaman kendimizi geliştiriyoruz. Geri bildirimlerden öğreniyor, kendimizi sürekli olarak büyümeye zorluyor ve en önemli işe odaklanıyoruz.

•
Uzun Vadeli Düşünün: Sırada olanı tasarlıyoruz. Ölçeklenebilir sistemler oluşturuyoruz, karmaşıklığı basitleştiriyoruz ve etkimizi artırmak için yapay zeka ve otomasyonu kullanıyoruz.

Aradığımız şey
Lightning AI, Altyapı Mühendisliği ekibimize katılmak üzere deneyimli bir Kıdemli Depolama Altyapı Mühendisi arıyor.
Bu rolde, büyük ölçekli AI/ML eğitimini, çıkarımı ve HPC iş yüklerini destekleyen depolama sistemlerini oluşturmaya ve işletmeye odaklanacaksınız. Yazılım, donanım ve operasyonların kesiştiği noktada çalışarak otomasyonu geliştirecek, güvenilirliği artıracak ve çıplak donanım altyapımız genelinde dağıtılmış depolama sistemlerini ölçeklendireceksiniz.
En zorlu yapay zeka iş yüklerinden bazıları için yüksek verimli, düşük gecikmeli veri erişimini destekleyen depolama altyapımızın veri düzlemine sahip olmanıza yardımcı olacaksınız. Depolama yığınımızı (Ceph gibi VAST ve S3 uyumlu sistemler dahil) yönetip geliştirmede ve geniş ölçekte performans, güvenilirlik ve verimlilik sağlamada önemli bir rol oynayacaksınız.
Bu rol, ABD içinde tamamen uzak veya ofis merkezlerimizden birinin (NYC, SF, Seattle veya Londra) dışında, ara sıra ekip ve şirket dışında olmak üzere karma olabilir. Şu anda bu pozisyon için vize sponsorluğu sağlayamıyoruz.
Ne yapacaksın
Depolama Sistemleri ve Altyapı

• VAST ve S3 uyumlu nesne depolama (ör. Ceph) dahil olmak üzere dağıtılmış depolama sistemlerini çalıştırın ve ölçeklendirin

• Büyük ölçekli AI/ML iş yüklerini destekleyen depolama sistemlerinin performansını, güvenilirliğini ve verimliliğini artırın

• Donanım ve yazılım katmanlarındaki karmaşık depolama ve veri yolu sorunlarını giderin

• Yüksek verimli, düşük gecikmeli yapay zeka eğitimini ve çıkarım iş yüklerini desteklemek için depolama performansını optimize edin

Otomasyon ve Takımlama

• Depolama altyapısının sağlanması, yönetilmesi ve izlenmesi için otomasyon oluşturun ve sürdürün

• Manuel operasyonel ek yükü azaltmak için Python tabanlı araçlar ve iş akışları geliştirin

• Dağıtımdan bakım ve ölçeklendirmeye kadar depolama kümelerinin yaşam döngüsü yönetimini iyileştirin

Sistemler ve Operasyonlar

• Çıplak donanım ortamları da dahil olmak üzere üretimdeki Linux tabanlı sistemleri yönetin ve çalıştırın

• Donanım geliştirme, yükseltmeler ve sorun çözümü konusunda altyapı ve veri merkezi ekipleriyle ortaklık yapın

• Depolama sistemleri için kapasite planlaması, kullanım takibi ve tahmin desteği

• Sorunları teşhis etmek ve sistem performansını ve güvenilirliğini artırmak için izleme ve telemetriden yararlanın

İşlevler Arası İşbirliği

• Depolamayı daha geniş bir platforma entegre etmek için Altyapı Mühendisliği, Ağ Mühendisliği ve Platform ekipleriyle yakın işbirliği içinde çalışın

• Yeni altyapı dağıtımları ve ölçeklendirme stratejileri etrafındaki tartışmaların tasarlanmasına katkıda bulunmak

• Yüksek performanslı bilgi işlem ortamlarında depolama sistemlerini çalıştırmaya yönelik en iyi uygulamaların tanımlanmasına yardımcı olun

İhtiyacınız Olanlar
Gerekli Nitelikler

• Altyapı mühendisliği, sistem mühendisliği veya ilgili rollerde 5 yıldan fazla deneyim

• Dağıtılmış depolama sistemlerini (ör. VAST, Ceph veya benzeri) çalıştırma konusunda uygulamalı deneyim

• Üretim ortamlarında güçlü Linux sistemleri deneyimi

• Otomasyon için Python veya benzeri komut dosyası/programlama dillerinde yeterlilik

• Çıplak donanım altyapısı ve donanım odaklı sistemlerle çalışma deneyimi

• Sistem sınırları (depolama, işletim sistemi, donanım, ağ iletişimi) genelinde karmaşık sorunlarda hata ayıklama yeteneği

• Depolama ağı protokolleri (ör. NFS veya benzeri) konusunda deneyim

• Kapasite planlama, izleme ve performans ayarlama deneyimi

İdeal Deneyim

• Üretim ortamlarında VAST depolama sistemleri deneyimi

• S3 uyumlu nesne depolamayı uygun ölçekte çalıştırma deneyimini yaşayın

• Fiziksel donanımla çalışmayı da içeren veri merkezi operasyonları deneyimi

• AI/ML veya HPC iş yükleri ve bunların depolama gereksinimlerine aşinalık

• Yüksek performanslı veya düşük gecikme süreli dağıtılmış sistemlere ilişkin arka plan

• Yüksek performanslı veri aktarım teknolojilerine aşinalık (ör. RDMA, GPU Doğrudan Depolama)

• GPU tabanlı iş yüklerini veya büyük ölçekli bilgi işlem kümelerini destekleme deneyimi

Tazminat…

Kaynak: Himalayalar (https://himalayas.app/companies/lightning-ai/jobs/infrastructure-engineer-storage?utm_source=api)