Ingeniero sénior de aprendizaje automático | Kimchi (optimización de la pila de inferencia)

¿Por qué kimchi?

Los grandes modelos son ingredientes crudos. El kimchi es lo que sucede cuando los fermentas con buena ingeniería. Comenzamos dentro de CAST AI ayudando a las empresas a ejecutar LLM en sus propios clústeres de Kubernetes; hoy ejecutamos nuestro propio arnés de codificación en cualquier modelo que elija, y ejecutamos los modelos debajo de él nosotros mismos.

Inferencia de kimchi

Una línea API y el cliente existente de un cliente simplemente funcionan: DeepSeek, GLM, Kimi, MiniMax, Nemotron se sirven sin servidor desde nuestra propia flota de GPU (compatible con OpenAI y Anthropic, pago por token, gasto visible por usuario, equipo y clave). Cuando el control importa, los mismos modelos se ejecutan en el propio clúster del cliente. Detrás de esa línea se encuentra la maquinaria que poseerá: motores SGLang y vLLM, nodos B300, un sistema de archivos de clúster compartido que mantiene cada punto de control exactamente una vez, cachés KV que manejan tráfico de codificación con una gran reutilización de prefijos y el arnés de referencia que controla cada cambio que enviamos.

Creado por Cast AI, un equipo con sede en Miami y distribuido globalmente en 34 países que alcanzó el estatus de unicornio en enero de 2026 con una inversión respaldada de más de $50 mil millones que elevó su valoración a más de $1 mil millones.

sobre el papel

Rendimiento. Estado latente. Arranques en frío. Costo por ficha.

Mueve esos cuatro números en la dirección correcta y suceden dos cosas: los clientes obtienen inferencias más rápidas y económicas y nuestros márgenes mejoran. Ésa es toda la tesis de este papel. Cada cargador que ajusta, cada decisión del programador que toma, cada núcleo que observa aparece en el p99 de un cliente y en nuestras pérdidas y ganancias. Su mandato es la optimización de la pila de inferencia, sea lo que sea necesario, y la dirección técnica de cómo la optimizamos es suya para discutir con los datos.

El problema: los puntos de control ejecutan entre 0,3 y 1,5 TB, y la configuración de servicio "correcta" depende de la forma del tráfico, la distribución de la longitud de la secuencia, la dinámica del lote, el SKU de la GPU, el ancho de banda de la memoria y la tolerancia a la cuantificación, todas variables que cambian de una semana a otra. La mayoría de los equipos eligen una configuración una vez, aprovisionan GPU en exceso y absorben el costo. No lo hacemos: llevamos a Kimi-K3 (1,5 TB) de más de una hora de frío a menos de doce minutos con un sistema de archivos compartido, cargadores de peso O_DIRECT y cachés JIT locales de nodo, y no estamos ni cerca de terminar. A continuación se encuentran la desagregación de precarga/decodificación y las cachés KV escalonadas.

Pila: Python; SGLang; vLLM; TensorRT-LLM; PyTorch; tensores de seguridad rápidos; Herramientas adyacentes a CUDA; Kubernetes; virtiofs sistemas de archivos compartidos; Haga clic en Casa; OpenTelemetría; Prometeo; Grafana; GitLab CI.

Requisitos

• Ha creado sistemas de aprendizaje automático reales durante más de 5 años y su cartera muestra profundidad en inferencia o infraestructura de capacitación, no solo cuadernos de capacitación modelo.

• Su Python es de nivel de producción: servicios, no scripts.

• Ha ejecutado vLLM, SGLang o TensorRT-LLM de verdad y tiene un modelo mental funcional de por qué un motor funciona de la forma en que lo hace en una GPU determinada.

• Ha medido regresiones de cuantificación, no sólo relaciones de compresión.

• Las configuraciones de múltiples GPU y múltiples nodos no dan miedo: paralelismo tensorial y experto, comunicación colectiva y sus modos de falla prácticos.

• Sabes dónde viven los bytes (cachés de páginas, O_DIRECT, sistemas de archivos de red con lecturas a escala de terabytes) y qué tan rápido se mueven.

• Usted instrumenta antes de optimizar y puede distinguir una ganancia real de un artefacto de referencia.

• Un mandato amplio le entusiasma más de lo que le inquieta.

agradable tener

• Ha trabajado específicamente en enrutamiento LLM: evaluaciones de clase RouterBench, frentes de Pareto de costo/calidad/latencia.

• Métodos de calibración, abstención o conformal en sistemas de decisión de producción.

• Ha ejecutado bucles A/B en línea con monitoreo de deriva en un modelo que toca dinero real.

Responsabilidades

• Impulse el rendimiento. Procesamiento por lotes continuo, precarga fragmentada, decodificación especulativa con modelos borrador, captura de gráficos CUDA y ajuste del programador en todo el motor
flota. Encuentre el techo en cada SKU de GPU y luego levántelo.

• Reducir la latencia. Ataque TTFT y latencia entre tokens por separado; perfil para encontrar el cuello de botella real (cómputo, ancho de banda de memoria, programación, almacenamiento o
red) y arreglarlo, no el que asumiste.

• Saque más provecho de la caché KV. Atención jerárquica y paginada, almacenamiento en caché de prefijos en tráfico de codificación de gran reutilización, políticas de desalojo, KV cuantificado. muchos de los
El rendimiento no realizado vive aquí y usted será el propietario.

• Elimina los arranques en frío. Cargadores de peso (O_DIRECT, clase fastsafetensors), JIT y cachés de compilación, rutas de lectura de sistemas de archivos compartidos. Un punto de control de 1,5 TB no tiene nada que ver
tardando una hora en llegar a servir.

• Cuantizar sin retroceder la calidad. INT8/INT4, FP8/FP4 en pesos, activaciones y KV, medidos en cargas de trabajo reales, no solo en puntos de referencia de perplejidad.

• Escalar entre nodos. Topologías de inferencia distribuida, ubicación consciente de la red, desagregación de prellenado/decodificación, estrategias de puntos de control que no crean cuellos de botella
en almacenamiento o interconexión.

• Fijar la dirección técnica. Decidir qué comparamos, qué adoptamos y qué construimos nosotros mismos. Traiga al equipo con reseñas sólidas y reproducibles.
experimentos.

¿Qué hay para ti?

• Salario competitivo (dependiendo del nivel de experiencia).

• Disfrute de un entorno global flexible y remoto.

• Colaborar con un equipo global de expertos e innovadores en la nube, apasionados por ampliar los límites de la tecnología Kubernetes.

• Opciones sobre acciones.

• Obtenga comentarios rápidos con un flujo de trabajo acelerado. La mayoría de los proyectos destacados se completan en 1 a 4 semanas.

• Dedica el 10% de tu tiempo de trabajo a proyectos personales o de superación personal.

• Presupuesto de aprendizaje para el desarrollo profesional y personal, incluido el acceso a conferencias y cursos internacionales que mejoran sus habilidades.

• Hackathon anual para generar nuevas ideas y fortalecer los vínculos del equipo.

• Presupuesto de team building y eventos de empresa para conectar con tus compañeros.

• Presupuesto de equipamiento para garantizar que tengas todo lo que necesitas.

• Días libres adicionales para ayudar a mantener un equilibrio saludable entre el trabajo y la vida personal.

Proceso de contratación

• Llamada de selección con el reclutador...

Fuente: Arbeitnow (https://www.arbeitnow.com/jobs/companies/kimchi/senior-ml-engineer-kimchi-inference-stack-optimization-248455)