Вакансія
З партнерського стрічки
Інженер машинного навчання, Ops
Ціна за запитом
Деталі
- Тип зайнятості
- Повна зайнятість
- Віддалено
- Так
- Компанія
- Cantina Labs
- Рівень
- Any
Опис
Автоматичний переклад з English. Оригінальний текст є авторитетним. Машинний переклад — готується точніший варіант.
Про Cantina:
Cantina Labs — це компанія соціального штучного інтелекту, яка розробляє набір передових моделей реального часу, які розширюють межі вираження, індивідуальності та реалізму. Ми оживляємо персонажів, змінюючи те, як люди розповідають історії, спілкуються та творять. Ми будуємо та живимо екосистеми. Cantina, наша флагманська соціальна платформа AI, це лише початок.
Якщо ви в захваті від потенціалу штучного інтелекту для формування людської творчості та соціальних взаємодій, приєднуйтесь до нас у будівництві майбутнього!
Про роль:
Ми шукаємо інженера ML, який би володів стеком виробничого висновку для наших моделей перетворення тексту в мовлення (TTS) і розпізнавання мовлення (ASR). Наша дослідницька група надає навчені моделі контрольно-пропускних пунктів; ви створите їх як сервіси потокового передавання в реальному часі з низькою затримкою, які економічно працюють на графічних процесорах. Роль охоплює механізми висновків, інфраструктуру Kubernetes, на якій вони працюють, а також порівняльний аналіз продуктивності та перевірку точності, які дозволяють нам безпечно надсилати зміни. Ви поєднаєте дослідження та виробництво, а також матимете затримку, пропускну спроможність, вартість і точність у міру нашого масштабування.
Що ви будете робити:
•
Створюйте та оптимізуйте механізми потокового висновку для моделей TTS і ASR, включаючи конвеєри багатоступеневої моделі.
•
Оптимізуйте затримку (час до першого фрагменту, p50/p99) і пропускну здатність за допомогою безперервного пакетування, графіків CUDA, torch.compile і змішаної точності.
•
Підтримуйте числовий паритет із еталонною реалізацією за допомогою автоматизованих регресійних тестів на точність, на етапі та наскрізно.
•
Розгортайте та керуйте службами висновків GPU на Kubernetes: автомасштабування, контейнеризація та інфраструктура як код.
•
Створюйте CI/CD для артефактів моделі з версією моделі та відтворюваними випусками.
•
Власна спостережливість і порівняльний аналіз продуктивності: затримка p50/p99, коефіцієнт реального часу (RTF), використання GPU та вартість запиту.
•
Партнерство з дослідженнями для виробництва нових моделей.
Що ви принесете:
•
Практичний досвід розгортання, масштабування та оптимізації моделей ML у виробництві, окрім використання API моделі.
•
Практичні знання повного стеку висновків, від ядер CUDA до обслуговуючих фреймворків, з глибиною в деяких рівнях; не очікується експертиза всіх з них.
•
Оптимізація продуктивності GPU: профілювання (Nsight Systems, PyTorch Profiler), пропускна здатність пам’яті, синхронізація CPU-GPU.
•
Чітке розуміння моделі обслуговування: безперервне пакетування, керування кеш-пам’яттю KV, планування запитів.
•
Досвід роботи з Kubernetes, CI/CD та хмарною інфраструктурою.
•
Потужний Python і PyTorch, а також суворий підхід до порівняльного аналізу продуктивності.
•
Досвід роботи з мовними або аудіо моделями (TTS, ASR, перетворення голосу).
•
Досвід роботи зі структурами висновків, такими як vLLM (vLLM-Omni), SGLang, TensorRT-LLM, TensorRT або Triton Inference Server.
Компенсація:
При визначенні винагороди буде враховано низку факторів, включаючи навички, досвід, сферу роботи, місцезнаходження та конкурентоспроможні дані ринку винагороди.
Переваги для посад у США:
•
Конкурентоспроможна зарплата та щедрий капітал компанії
•
Медичне, стоматологічне страхування та страхування зору – 99,99% премій покриває Cantina
•
42 дні оплачуваної відпустки, в тому числі:
•
15 PTO днів
•
10 лікарняних
•
15 корпоративних свят
•
2 плаваючих свята
•
Щедра відпустка по догляду за дитиною та підтримка народжуваності
•
401(k) план пенсійних заощаджень
•
Рахунок витрат на спосіб життя – 500 доларів США на місяць, якими ви забажаєте
•
Безкоштовний обід і перекуси для співробітників в офісі
•
Одне медичне членство та багато іншого!
Джерело: Jobicy (https://jobicy.com/jobs/160996-machine-learning-engineer-ops)
Cantina Labs — це компанія соціального штучного інтелекту, яка розробляє набір передових моделей реального часу, які розширюють межі вираження, індивідуальності та реалізму. Ми оживляємо персонажів, змінюючи те, як люди розповідають історії, спілкуються та творять. Ми будуємо та живимо екосистеми. Cantina, наша флагманська соціальна платформа AI, це лише початок.
Якщо ви в захваті від потенціалу штучного інтелекту для формування людської творчості та соціальних взаємодій, приєднуйтесь до нас у будівництві майбутнього!
Про роль:
Ми шукаємо інженера ML, який би володів стеком виробничого висновку для наших моделей перетворення тексту в мовлення (TTS) і розпізнавання мовлення (ASR). Наша дослідницька група надає навчені моделі контрольно-пропускних пунктів; ви створите їх як сервіси потокового передавання в реальному часі з низькою затримкою, які економічно працюють на графічних процесорах. Роль охоплює механізми висновків, інфраструктуру Kubernetes, на якій вони працюють, а також порівняльний аналіз продуктивності та перевірку точності, які дозволяють нам безпечно надсилати зміни. Ви поєднаєте дослідження та виробництво, а також матимете затримку, пропускну спроможність, вартість і точність у міру нашого масштабування.
Що ви будете робити:
•
Створюйте та оптимізуйте механізми потокового висновку для моделей TTS і ASR, включаючи конвеєри багатоступеневої моделі.
•
Оптимізуйте затримку (час до першого фрагменту, p50/p99) і пропускну здатність за допомогою безперервного пакетування, графіків CUDA, torch.compile і змішаної точності.
•
Підтримуйте числовий паритет із еталонною реалізацією за допомогою автоматизованих регресійних тестів на точність, на етапі та наскрізно.
•
Розгортайте та керуйте службами висновків GPU на Kubernetes: автомасштабування, контейнеризація та інфраструктура як код.
•
Створюйте CI/CD для артефактів моделі з версією моделі та відтворюваними випусками.
•
Власна спостережливість і порівняльний аналіз продуктивності: затримка p50/p99, коефіцієнт реального часу (RTF), використання GPU та вартість запиту.
•
Партнерство з дослідженнями для виробництва нових моделей.
Що ви принесете:
•
Практичний досвід розгортання, масштабування та оптимізації моделей ML у виробництві, окрім використання API моделі.
•
Практичні знання повного стеку висновків, від ядер CUDA до обслуговуючих фреймворків, з глибиною в деяких рівнях; не очікується експертиза всіх з них.
•
Оптимізація продуктивності GPU: профілювання (Nsight Systems, PyTorch Profiler), пропускна здатність пам’яті, синхронізація CPU-GPU.
•
Чітке розуміння моделі обслуговування: безперервне пакетування, керування кеш-пам’яттю KV, планування запитів.
•
Досвід роботи з Kubernetes, CI/CD та хмарною інфраструктурою.
•
Потужний Python і PyTorch, а також суворий підхід до порівняльного аналізу продуктивності.
•
Досвід роботи з мовними або аудіо моделями (TTS, ASR, перетворення голосу).
•
Досвід роботи зі структурами висновків, такими як vLLM (vLLM-Omni), SGLang, TensorRT-LLM, TensorRT або Triton Inference Server.
Компенсація:
При визначенні винагороди буде враховано низку факторів, включаючи навички, досвід, сферу роботи, місцезнаходження та конкурентоспроможні дані ринку винагороди.
Переваги для посад у США:
•
Конкурентоспроможна зарплата та щедрий капітал компанії
•
Медичне, стоматологічне страхування та страхування зору – 99,99% премій покриває Cantina
•
42 дні оплачуваної відпустки, в тому числі:
•
15 PTO днів
•
10 лікарняних
•
15 корпоративних свят
•
2 плаваючих свята
•
Щедра відпустка по догляду за дитиною та підтримка народжуваності
•
401(k) план пенсійних заощаджень
•
Рахунок витрат на спосіб життя – 500 доларів США на місяць, якими ви забажаєте
•
Безкоштовний обід і перекуси для співробітників в офісі
•
Одне медичне членство та багато іншого!
Джерело: Jobicy (https://jobicy.com/jobs/160996-machine-learning-engineer-ops)
Це оголошення надходить із партнерського фіду. Подайте заявку на сайті джерела.
Джерело: Cantina Labs
Оголошення надано Cantina Labs.