Ingeniero de Software Senior (Plataforma de Datos, C++)

Acerca de Nebio:

Nebius lidera una nueva era en infraestructura de nube para la economía global de IA. Estamos construyendo una plataforma de nube de IA de pila completa que apoya a desarrolladores y empresas desde la capacitación de datos y modelos hasta la implementación de producción, sin el costo y la complejidad de construir una gran infraestructura interna de IA/ML.

Construido por ingenieros, para ingenieros. Desde la orquestación de GPU a gran escala hasta la optimización de la inferencia, somos dueños de los problemas difíciles en la computación, el almacenamiento, las redes y la IA aplicada.

Cotizamos en Nasdaq (NBIS) y con sede en Ámsterdam, tenemos una presencia global con centros de I+D en Europa, el Reino Unido, América del Norte e Israel. Nuestro equipo de más de 1500 personas incluye cientos de ingenieros con amplia experiencia en hardware, software e I+D de IA.

el papel

#LI-MM1

Buscamos un ingeniero de software con sólida experiencia en C++ para unirse al equipo de creación y operación de Nebius Data Platform, una plataforma de procesamiento y almacenamiento distribuido que actúa como la "fuente de verdad" de la empresa y la columna vertebral de muchos productos internos (y algunos externos).

Nebius Data Platform es un ecosistema único de múltiples inquilinos basado en YTsaurus: en lugar de ejecutar sistemas separados estilo HDFS/Kafka/HBase, proporcionamos capacidades de almacenamiento, computación y análisis dentro de una sola plataforma.

Construido sobre el ecosistema de código abierto YTsaurus, ejecutamos y ampliamos nuestra propia distribución Nebius y desarrollamos importantes funciones internas (a nivel central y de plataforma). Podemos diseñar, implementar e implementar funciones de un extremo a otro en nuestros clústeres sin esperar aprobaciones iniciales y contribuir en las etapas iniciales cuando tenga sentido.

A escala actual, esto incluye ~500 servidores, ~20 000 núcleos de CPU y ~10 PB de datos comprimidos en nuestro clúster de producción más grande, lo que admite cargas de trabajo que van desde procesos críticos para el negocio y transacciones financieras hasta conjuntos de datos y computación de capacitación de aprendizaje automático y de maestría a gran escala.

¿Qué hay dentro de la plataforma?

Trabajarás en un sistema que incluye (y vincula):

• Almacenamiento distribuido (Cypress): semántica transaccional, almacenamiento por niveles, codificación de borrado, replicación y fuertes expectativas de confiabilidad.

• Compute & ETL: un programador de trabajos para todo el clúster (decenas de miles de núcleos), MapReduce, YQL para procesamiento de datos tipo SQL y SPYT (Spark over YTsaurus) para ingeniería de datos moderna.

• Análisis interactivo (CHYT): las instancias de ClickHouse® se activan directamente en nodos informáticos para SQL rápido sobre datos in situ.

• Tablas dinámicas: NoSQL KV de baja latencia con transacciones ACID distribuidas para cargas de trabajo de estilo OLTP y almacenes de funciones.

• Orchestracto: orquestación del flujo de trabajo profundamente integrada con la plataforma (similar a Airflow, pero nativa de la plataforma).

que haras

Buscamos ingenieros que combinen sólidas habilidades en sistemas con sentido del producto: comprender quién usa la plataforma, por qué ciertas capacidades son importantes y hacer concesiones pragmáticas para maximizar el impacto. En nuestro equipo, se espera que el trabajo de ingeniería esté conectado con usuarios y resultados reales: usted se alineará periódicamente con las partes interesadas internas, aclarará los requisitos y ayudará a impulsar la priorización.

En este rol, usted:

• Diseñar e implementar nuevas funcionalidades en el núcleo de YTsaurus (C++) teniendo en cuenta la confiabilidad de la producción.

• Construya y evolucione capacidades a nivel de plataforma: arquitectura de plataforma y modelo operativo: crecimiento de múltiples clústeres, primitivos compartidos y una experiencia consistente que escala con nuevos equipos y casos de uso.

• Mejorar la experiencia de la plataforma de un extremo a otro para los usuarios internos (y externos): API, barreras de seguridad, flujos de trabajo de depuración y automatización.

• Calidad de producción propia: respuesta a incidentes/rotación de guardias, análisis de causa raíz y conversión de lo aprendido en soluciones duraderas.

Proyectos de ejemplo

• Implementar archivos maestros de YTsaurus fragmentados (incluido el soporte del operador de Kubernetes) y crear un equilibrio automático de metadatos entre células maestras (grupos de consenso) para eliminar cuellos de botella en el plano de control y desbloquear un crecimiento de clúster de 10 a 100 veces.

• Haga que el SQL interactivo de CHYT sea más rápido y más predecible con cargas elevadas mediante trabajos de rendimiento como índices de estilo de omisión de datos/mínimo-máximo e introspección de ejecución mejorada.

• Convertir Orchestracto en un producto de plataforma definiendo los componentes básicos, la experiencia del desarrollador y la gestión de cómo los equipos crean y comparten flujos de trabajo.

• Escale y refuerce Parquet-on-S3 para cargas de trabajo nativas de YTsaurus abordando replicación/movimiento, semántica de ciclo de vida consistente y optimizaciones de metadatos de servidor maestro para rendimiento y confiabilidad.

• Diseñe y envíe pistas de auditoría completas y confiables para cambios de datos (quién/qué/cuándo) en rutas de almacenamiento y computación heterogéneas.

Pila de tecnología

• Núcleo: C++ moderno (C++20, asíncrono + primitivas multiproceso)

• Servicios y herramientas: Go y Python (microservicios, utilidades, pruebas de integración)

lo que esperamos

• Más de 5 años de experiencia en ingeniería de software.

• Fuertes habilidades en C++ (escribirás el código central).

• Conocimiento práctico de Python y/o Go (no es necesario ser un experto, pero debe sentirse cómodo usándolos).

• Experiencia desarrollando y/u operando servicios distribuidos de alta carga.

• Mentalidad de producción: capacidad para utilizar SSH, leer registros/métricas/rastreos y depurar el comportamiento de sistemas distribuidos.

• Sólidos fundamentos de CS: algoritmos, estructuras de datos, conceptos básicos de concurrencia.

Es bueno tener

• Experiencia con sistemas Big Data (YTsaurus/Hadoop/Spark/ClickHouse/ecosistemas tipo Kafka).

• Experiencia con plataformas multiinquilino, programadores, aislamiento de recursos, cuotas e ingeniería de confiabilidad.

• Fuertes habilidades de ingeniería de rendimiento (perfiles, contención de bloqueos, compensaciones entre latencia y rendimiento).

Realizamos entrevistas de codificación como parte del proceso.
Beneficios y ventajas:

• Compensación competitiva

• Crecimiento profesional y oportunidades de aprendizaje.

• Flexibilidad y propiedad

• Cultura colaborativa e innovadora

• Oportunidad de trabajar en proyectos de IA impactantes

• Entorno internacional y equipos talentosos…

Fuente: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/nebius/senior-software-engineer-data-platform-c-amsterdam-173297)