Работа
Из фида партнера
Инженер по машинному обучению, оператор эксплуатации
Цена по запросу
Детали
- Тип занятости
- Полная занятость
- Удалённо
- Да
- Компания
- Cantina Labs
- Уровень
- Any
Описание
Автоматически переведено с языка English. Оригинальный текст является основным. Машинный перевод — готовится более точный вариант.
О Кантине:
Cantina Labs — компания, занимающаяся социальным искусственным интеллектом, разрабатывающая набор передовых моделей реального времени, которые расширяют границы самовыражения, индивидуальности и реализма. Мы оживляем персонажей, меняя то, как люди рассказывают истории, общаются и творят. Мы строим и питаем экосистемы. Cantina, наша ведущая социальная платформа искусственного интеллекта, — это только начало.
Если вас воодушевляет потенциал ИИ, способный формировать творческие способности человека и его социальные взаимодействия, присоединяйтесь к нам в построении будущего!
О роли:
Мы ищем инженера по машинному обучению, который будет владеть стеком вывода для наших сквозных моделей преобразования текста в речь (TTS) и распознавания речи (ASR). Наша исследовательская группа предоставляет обученные контрольные точки модели; вы будете создавать их как потоковые сервисы в реальном времени с низкой задержкой, которые экономично работают на графических процессорах. Эта роль охватывает механизмы вывода, инфраструктуру Kubernetes, на которой они работают, а также тестирование производительности и проверку точности, которые позволяют нам безопасно вносить изменения. Вы объедините исследования и производство, а также сможете контролировать задержку, пропускную способность, стоимость и точность по мере нашего масштабирования.
Что вы будете делать:
•
Создавайте и оптимизируйте механизмы потокового вывода для моделей TTS и ASR, включая многоэтапные конвейеры моделей.
•
Оптимизируйте задержку (время до первого фрагмента, p50/p99) и пропускную способность с помощью непрерывной пакетной обработки, графиков CUDA, torch.compile и смешанной точности.
•
Поддерживайте числовой четность с эталонной реализацией с помощью автоматизированных регрессионных тестов точности на каждом этапе и от начала до конца.
•
Развертывайте и эксплуатируйте службы вывода графического процессора в Kubernetes: автомасштабирование, контейнеризацию и инфраструктуру как код.
•
Создавайте CI/CD для артефактов моделей с управлением версиями моделей и воспроизводимыми выпусками.
•
Собственные измерения наблюдаемости и производительности: задержка p50/p99, коэффициент реального времени (RTF), загрузка графического процессора и стоимость запроса.
•
Сотрудничайте с исследованиями для производства новых моделей.
Что вы принесете:
•
Практический опыт развертывания, масштабирования и оптимизации моделей машинного обучения в производстве, помимо использования API моделей.
•
Практические знания полного стека вывода, от ядер CUDA до обслуживающих платформ, с глубиной некоторых уровней; экспертных знаний по всем из них не ожидается.
•
Оптимизация производительности графического процессора: профилирование (Nsight Systems, PyTorch Profiler), пропускная способность памяти, синхронизация CPU-GPU.
•
Глубокое понимание обслуживания моделей: непрерывная пакетная обработка, управление KV-кешем, планирование запросов.
•
Опыт работы с Kubernetes, CI/CD и облачной инфраструктурой.
•
Мощный Python и PyTorch, а также строгий подход к тестированию производительности.
•
Опыт работы с речевыми или аудиомоделями (TTS, ASR, преобразование голоса).
•
Опыт работы с такими платформами вывода, как vLLM (vLLM-Omni), SGLang, TensorRT-LLM, TensorRT или Triton Inference Server.
Компенсация:
При определении компенсации будет учитываться ряд факторов, включая навыки, опыт, объем работы, местоположение и данные конкурентного рынка вознаграждений.
Преимущества для вакансий в США:
•
Конкурентная заработная плата и щедрый капитал компании
•
Медицинское, стоматологическое и офтальмологическое страхование – 99,99% страховых взносов покрываются Cantina.
•
42 дня оплачиваемого отпуска, в том числе:
•
15 дней ПТО
•
10 больничных дней
•
15 корпоративных праздников
•
2 плавучих отпуска
•
Щедрый отпуск по уходу за ребенком и поддержка рождаемости
•
401 (k) план пенсионных накоплений
•
Счет расходов на образ жизни — 500 долларов в месяц, которые можно использовать по своему усмотрению.
•
Бесплатные обеды и закуски для сотрудников офиса.
•
Одно медицинское членство и многое другое!
Источник: Jobicy (https://jobicy.com/jobs/160996-machine-learning-engineer-ops).
Cantina Labs — компания, занимающаяся социальным искусственным интеллектом, разрабатывающая набор передовых моделей реального времени, которые расширяют границы самовыражения, индивидуальности и реализма. Мы оживляем персонажей, меняя то, как люди рассказывают истории, общаются и творят. Мы строим и питаем экосистемы. Cantina, наша ведущая социальная платформа искусственного интеллекта, — это только начало.
Если вас воодушевляет потенциал ИИ, способный формировать творческие способности человека и его социальные взаимодействия, присоединяйтесь к нам в построении будущего!
О роли:
Мы ищем инженера по машинному обучению, который будет владеть стеком вывода для наших сквозных моделей преобразования текста в речь (TTS) и распознавания речи (ASR). Наша исследовательская группа предоставляет обученные контрольные точки модели; вы будете создавать их как потоковые сервисы в реальном времени с низкой задержкой, которые экономично работают на графических процессорах. Эта роль охватывает механизмы вывода, инфраструктуру Kubernetes, на которой они работают, а также тестирование производительности и проверку точности, которые позволяют нам безопасно вносить изменения. Вы объедините исследования и производство, а также сможете контролировать задержку, пропускную способность, стоимость и точность по мере нашего масштабирования.
Что вы будете делать:
•
Создавайте и оптимизируйте механизмы потокового вывода для моделей TTS и ASR, включая многоэтапные конвейеры моделей.
•
Оптимизируйте задержку (время до первого фрагмента, p50/p99) и пропускную способность с помощью непрерывной пакетной обработки, графиков CUDA, torch.compile и смешанной точности.
•
Поддерживайте числовой четность с эталонной реализацией с помощью автоматизированных регрессионных тестов точности на каждом этапе и от начала до конца.
•
Развертывайте и эксплуатируйте службы вывода графического процессора в Kubernetes: автомасштабирование, контейнеризацию и инфраструктуру как код.
•
Создавайте CI/CD для артефактов моделей с управлением версиями моделей и воспроизводимыми выпусками.
•
Собственные измерения наблюдаемости и производительности: задержка p50/p99, коэффициент реального времени (RTF), загрузка графического процессора и стоимость запроса.
•
Сотрудничайте с исследованиями для производства новых моделей.
Что вы принесете:
•
Практический опыт развертывания, масштабирования и оптимизации моделей машинного обучения в производстве, помимо использования API моделей.
•
Практические знания полного стека вывода, от ядер CUDA до обслуживающих платформ, с глубиной некоторых уровней; экспертных знаний по всем из них не ожидается.
•
Оптимизация производительности графического процессора: профилирование (Nsight Systems, PyTorch Profiler), пропускная способность памяти, синхронизация CPU-GPU.
•
Глубокое понимание обслуживания моделей: непрерывная пакетная обработка, управление KV-кешем, планирование запросов.
•
Опыт работы с Kubernetes, CI/CD и облачной инфраструктурой.
•
Мощный Python и PyTorch, а также строгий подход к тестированию производительности.
•
Опыт работы с речевыми или аудиомоделями (TTS, ASR, преобразование голоса).
•
Опыт работы с такими платформами вывода, как vLLM (vLLM-Omni), SGLang, TensorRT-LLM, TensorRT или Triton Inference Server.
Компенсация:
При определении компенсации будет учитываться ряд факторов, включая навыки, опыт, объем работы, местоположение и данные конкурентного рынка вознаграждений.
Преимущества для вакансий в США:
•
Конкурентная заработная плата и щедрый капитал компании
•
Медицинское, стоматологическое и офтальмологическое страхование – 99,99% страховых взносов покрываются Cantina.
•
42 дня оплачиваемого отпуска, в том числе:
•
15 дней ПТО
•
10 больничных дней
•
15 корпоративных праздников
•
2 плавучих отпуска
•
Щедрый отпуск по уходу за ребенком и поддержка рождаемости
•
401 (k) план пенсионных накоплений
•
Счет расходов на образ жизни — 500 долларов в месяц, которые можно использовать по своему усмотрению.
•
Бесплатные обеды и закуски для сотрудников офиса.
•
Одно медицинское членство и многое другое!
Источник: Jobicy (https://jobicy.com/jobs/160996-machine-learning-engineer-ops).
Это объявление получено из партнерского фида. Оформляйте заказ на исходном сайте.
Источник: Cantina Labs
Объявление предоставлено Cantina Labs.