Kıdemli Yazılım Mühendisi (Veri Platformu, C++)

Nebius hakkında:

Nebius, küresel yapay zeka ekonomisi için bulut altyapısında yeni bir döneme öncülük ediyor. Büyük şirket içi AI/ML altyapısı oluşturmanın maliyeti ve karmaşıklığı olmadan, veri ve model eğitiminden üretim dağıtımına kadar geliştiricileri ve işletmeleri destekleyen tam kapsamlı bir AI bulut platformu oluşturuyoruz.

Mühendisler tarafından mühendisler için tasarlandı. Büyük ölçekli GPU orkestrasyonundan çıkarım optimizasyonuna kadar bilgi işlem, depolama, ağ oluşturma ve uygulamalı yapay zeka genelindeki zorlu sorunların sahibiyiz.

Nasdaq'da (NBIS) listelenen ve genel merkezi Amsterdam'da bulunan şirketimiz, Avrupa, Birleşik Krallık, Kuzey Amerika ve İsrail'deki Ar-Ge merkezleriyle küresel bir faaliyet alanına sahiptir. 1.500'den fazla kişiden oluşan ekibimizde donanım, yazılım ve yapay zeka Ar-Ge alanında derin uzmanlığa sahip yüzlerce mühendis bulunmaktadır.

Rol

#LI-MM1

Şirketin "doğruluk kaynağı" ve birçok dahili (ve bazı harici) ürünün omurgası olarak görev yapan dağıtılmış bir depolama ve işleme platformu olan Nebius Veri Platformunu oluşturan ve işleten ekibe katılmak üzere güçlü C++ uzmanlığına sahip bir Yazılım Mühendisi arıyoruz.

Nebius Veri Platformu, YTsaurus'u temel alan çok kiracılı tek bir ekosistemdir; ayrı HDFS/Kafka/HBase tarzı sistemler çalıştırmak yerine, tek bir platformda depolama, bilgi işlem ve analiz yetenekleri sağlıyoruz.

Açık kaynaklı YTsaurus ekosisteminin üzerine kurulu olarak, kendi Nebius dağıtımımızı çalıştırıyor ve genişletiyoruz ve önemli şirket içi işlevler (temel ve platform düzeyinde) geliştiriyoruz. Yukarı yöndeki onayları beklemeden kümelerimizde özellikleri uçtan uca tasarlayabilir, uygulayabilir ve kullanıma sunabiliriz ve mantıklı olduğunda yukarı yönde katkıda bulunabiliriz.

Günümüz ölçeğinde bu, en büyük üretim kümemizdeki ~500 sunucuyu, ~20 bin CPU çekirdeğini ve ~10 PB sıkıştırılmış veriyi içerir; iş açısından kritik işlem hatları ve finansal işlemlerden büyük ölçekli ML/LLM eğitim veri kümeleri ve hesaplamaya kadar çeşitli iş yüklerini destekler.

Platformun içinde neler var

Aşağıdakileri içeren (ve birbirine bağlayan) bir sistem üzerinde çalışacaksınız:

• Dağıtılmış Depolama (Cypress): işlem semantiği, katmanlı depolama, silme kodlaması, çoğaltma ve güçlü güvenilirlik beklentileri.

• Compute & ETL : küme çapında bir iş zamanlayıcı (onbinlerce çekirdek), MapReduce, SQL benzeri veri işleme için YQL ve modern veri mühendisliği için SPYT (YTsaurus üzerinden Spark).

• Etkileşimli analiz (CHYT): ClickHouse® örnekleri, yerinde veri üzerinden hızlı SQL için doğrudan bilgi işlem düğümlerinde başlatıldı.

• Dinamik Tablolar: OLTP tarzı iş yükleri ve özellik depoları için dağıtılmış ACID işlemlerine sahip düşük gecikme süreli NoSQL KV.

• Orchestracto: platformla derinlemesine entegre edilmiş iş akışı orkestrasyonu (Airflow benzeri, ancak platforma özgü).

Ne yapacaksın

Güçlü sistem becerilerini ürün anlayışıyla birleştiren mühendisler arıyoruz: platformu kimin kullandığını, belirli yeteneklerin neden önemli olduğunu anlayan ve etkiyi en üst düzeye çıkarmak için pragmatik ödünler veren. Ekibimizde mühendislik çalışmalarının gerçek kullanıcılarla ve sonuçlarla bağlantılı olması bekleniyor; düzenli olarak dahili paydaşlarla uyum içinde olacak, gereksinimleri netleştirecek ve önceliklendirmeyi artırmaya yardımcı olacaksınız.

Bu rolde şunları yapacaksınız:

• Üretim güvenilirliğini göz önünde bulundurarak YTsaurus çekirdeğinde (C++) yeni işlevler tasarlayın ve uygulayın.

• Platform düzeyinde yetenekler oluşturun ve geliştirin: platform mimarisi ve işletim modeli — çoklu küme büyümesi, paylaşılan temel öğeler ve yeni ekipler ve kullanım senaryolarıyla ölçeklenen tutarlı bir deneyim.

• Dahili (ve harici) kullanıcılar için uçtan uca platform deneyimini iyileştirin: API'ler, korkuluklar, hata ayıklama iş akışları ve otomasyon.

• Kendi üretim kalitemiz: olaya müdahale / çağrı üzerine rotasyon, temel neden analizi ve öğrendikleri kalıcı düzeltmelere dönüştürmek.

Örnek projeler

• Parçalanmış YTsaurus ana sunucularını kullanıma alın (Kubernetes operatör desteği dahil) ve kontrol düzlemindeki darboğazları ortadan kaldırmak ve 10 ila 100 kat küme büyümesinin kilidini açmak için ana hücreler (uzlaşı grupları) arasında meta verilerin otomatik olarak dengelenmesini sağlayın.

• Veri atlama / min-maks tarzı indeksler ve gelişmiş yürütme iç gözlemi gibi performans çalışmaları yoluyla CHYT etkileşimli SQL'i yüksek yükte daha hızlı ve daha öngörülebilir hale getirin.

• Ekiplerin iş akışlarını oluşturma ve paylaşma biçimine ilişkin yapı taşlarını, geliştirici deneyimini ve yönetimi tanımlayarak Orchestracto'yu bir platform ürününe dönüştürün.

• Performans ve güvenilirlik için çoğaltma/hareket, tutarlı yaşam döngüsü semantiği ve ana sunucu meta veri optimizasyonlarını ele alarak yerel YTsaurus iş yükleri için Parquet-on-S3'ü ölçeklendirin ve güçlendirin.

• Heterojen depolama ve bilgi işlem yollarında veri değişikliklerine (kim/ne/ne zaman) yönelik eksiksiz, güvenilir denetim izleri tasarlayın ve gönderin.

Teknoloji yığını

• Çekirdek: modern C++ (C++20, eşzamansız + çok iş parçacıklı temel öğeler)

• Hizmetler ve araçlar: Go ve Python (mikro hizmetler, yardımcı programlar, entegrasyon testleri)

Ne bekliyoruz

• 5 yıldan fazla yazılım mühendisliği deneyimi.

• Güçlü C++ becerileri (temel kodu yazacaksınız).

• Python ve/veya Go hakkında çalışma bilgisi (uzman olmanıza gerek yoktur, ancak bunlarda rahatça gezinebilmeniz gerekir).

• Yüksek yüklü, dağıtılmış hizmetleri geliştirme ve/veya çalıştırma deneyimi.

• Üretim zihniyeti: SSH kullanma, günlükleri/ölçümleri/izleri okuma ve dağıtılmış sistem davranışında hata ayıklama becerisi.

• Sağlam CS temelleri: algoritmalar, veri yapıları, eşzamanlılık temelleri.

Sahip olmak güzel

• Büyük Veri sistemleri (YTsaurus/Hadoop/Spark/ClickHouse/Kafka benzeri ekosistemler) konusunda deneyim.

• Çok kiracılı platformlar, zamanlayıcılar, kaynak izolasyonu, kotalar ve güvenilirlik mühendisliği konusunda deneyim.

• Güçlü performans mühendisliği becerileri (profil oluşturma, kilit çekişmesi, gecikme/verim değişimleri).

Sürecin bir parçası olarak kodlama görüşmeleri gerçekleştiriyoruz.
Avantajlar ve Avantajlar:

• Rekabetçi tazminat

• Kariyer gelişimi ve öğrenme fırsatları

• Esneklik ve sahiplenme

• İşbirlikçi ve yenilikçi kültür

• Etkili yapay zeka projelerinde çalışma fırsatı

• Uluslararası ortam ve yetenekli ekipler…

Kaynak: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/nebius/senior-software-engineer-data-platform-c-amsterdam-173297)