Інженер-дослідник AI (оптимізація ядра та висновків)

Ця посада вказана від імені партнерської компанії, яка керує всіма заявками та наступними кроками. Наш партнер шукає інженера-дослідника штучного інтелекту (оптимізація ядра та висновків) у Німеччині.

Ви працюватимете на стику досліджень ШІ, системної інженерії та високопродуктивних моделей.
Ваша увага буде зосереджена на розробці та оптимізації архітектур, що обслуговують моделі, для передових систем ШІ в різних апаратних середовищах.
Ви вирішуєте завдання, пов’язані з затримкою, пропускною спроможністю, ефективністю пам’яті та масштабованістю, включаючи розгортання на мобільних і периферійних пристроях з обмеженими ресурсами.
Ця роль поєднує в собі практичне дослідження з низькорівневим проектуванням, що дає вам можливість розробляти нові стратегії логічного висновку та ядра GPU.
Ви працюватимете зі складними архітектурами, що охоплюють текст, зображення, аудіо, моделі дифузії та трансформатори зору.
Ваша робота включатиме суворий порівняльний аналіз, виробниче тестування та ітераційну оптимізацію, щоб перевести дослідження в вимірювані покращення продуктивності.
Ви співпрацюватимете з міжфункціональними командами у високотехнічному віддаленому середовищі, зосередженому на розширенні меж ефективних систем ШІ.

Звітність

• Розробляйте та розгортайте вдосконалені архітектури, що обслуговують моделі, оптимізовані для високої пропускної здатності, низької затримки та ефективного використання пам’яті.

• Розробка конвеєрів висновків, здатних ефективно працювати в різноманітних середовищах, включаючи мобільні пристрої з обмеженими ресурсами та периферійні платформи.

• Встановіть чіткі цілі продуктивності, що охоплюють затримку відповіді, швидкість генерації маркерів, пропускну спроможність, обсяг пам’яті та надійність.

• Створюйте та виконуйте контрольовані контрольні тести висновків у змодельованих і виробничих середовищах, відстежуючи затримку, пропускну здатність, споживання пам'яті та рівень помилок.

• Створювати та підтримувати репрезентативні набори даних і сценарії моделювання для оцінки продуктивності моделі в умовах реального світу та обмежених ресурсів.

• Визначайте вузькі місця обчислень і пам’яті в конвеєрах логічного висновку та впроваджуйте рішення, що включають пакетне об’єднання, роботу в мережі, керування пам’яттю та іншу оптимізацію на системному рівні.

• Розробка власних ядер GPU та обчислювальних шейдерів для мобільного обладнання, включаючи рішення, написані мовою Metal Shading Language (MSL).

• Застосуйте вдосконалені методи оптимізації висновків, такі як скорочення, квантування, Flash Attention, кешування KV і спекулятивне декодування.

• Проектуйте та оптимізуйте системи розподіленого висновку, використовуючи такі підходи, як тензорний паралелізм, конвеєрний паралелізм та експертний паралелізм для великомасштабних робочих навантажень GPU.

• Співпрацюйте з багатофункціональними інженерними та дослідницькими групами, щоб інтегрувати оптимізовані системи висновків у виробничі програми та додатки для периферійних пристроїв.

• Визначати методології оцінки, документувати експериментальні результати, порівнювати ефективність із встановленими контрольними показниками та постійно вдосконалювати стратегії оптимізації.

• Відстежуйте продуктивність виробництва та використовуйте емпіричні дослідження для визначення можливостей подальшого вдосконалення масштабованості, ефективності та надійності.

Вимоги:

• Ступінь у галузі комп’ютерних наук або суміжної технічної галузі; Доктор філософії в галузі НЛП, машинного навчання чи спорідненої дисципліни є дуже актуальним, особливо з великим досвідом досліджень ШІ та публікаціями на провідних конференціях.

• Перевірений досвід роботи з мовою металевих шейдерів (MSL), включаючи можливість писати спеціальні обчислювальні шейдери з нуля.

• Продемонстрований досвід низькорівневої оптимізації ядра та оптимізації висновків на мобільних або інших пристроях з обмеженими ресурсами.

• Реєстрація забезпечення вимірних покращень затримки логічного висновку, пропускної здатності та обсягу пам’яті для доменно-спеціальних програм.

• Глибоке розуміння сучасних архітектур, що обслуговують моделі, механізмів логічного висновку та методів оптимізації для високопродуктивного розгортання ШІ.

• Великий досвід написання ядер GPU для мобільних пристроїв, таких як смартфони.

• Практичний досвід розробки та розгортання наскрізних конвеєрів виведення, від оптимізації моделі до інтеграції виробництва на обмеженому обладнанні.

• Сильна здатність застосовувати емпіричні дослідження та систематичні експерименти для вирішення проблем із затримкою, обчисленнями та пам’яттю.

• Досвід розробки надійних систем оцінювання та порівняльного аналізу систем логічного висновку.

• Знання методів розподіленого висновку, включаючи тензорний паралелізм, конвеєрний паралелізм та експертний паралелізм для великих кластерів GPU.

• Глибоке розуміння математичних основ і архітектури дифузійних моделей і Vision Transformers.

• Знайомство з сучасними методами оптимізації висновків, включаючи скорочення, квантування, Flash Attention, оптимізацію KV Cache та спекулятивне декодування, таке як EAGLE.

• Сильні аналітичні здібності та здібності до вирішення проблем, здатність досліджувати вузькі місця складної системи та перетворювати результати досліджень на практичні інженерні рішення.

• Відмінні навички спілкування англійською мовою та здатність ефективно співпрацювати з розподіленими міжфункціональними технічними командами.

Переваги:

• Можливість працювати над розширеними системами штучного інтелекту, що охоплюють обслуговування моделей, оптимізацію логічного висновку, мобільні обчислення, розгортання на периферії та великомасштабні розподілені висновки.

• Дистанційне робоче середовище з міжнародною командою.

• Ознайомлення з передовими дослідженнями ШІ та практичними проблемами системної інженерії.

• Можливість зробити внесок у критично важливу для продуктивності інфраструктуру, удосконалення якої можуть мати вимірний вплив на реальні додатки ШІ.

• Середовище для співпраці, що поєднує дослідницькі експерименти з практичним проектуванням.

• Можливість працювати з передовими архітектурами моделей, включаючи дифузійні моделі, трансформатори бачення та мультимодальні системи.…

Джерело: Arbeitnow (https://www.arbeitnow.com/jobs/companies/jobgether/ai-research-engineer-kernel-inference-optimization-germany-474080)