Інженер штучного інтелекту - висновок

Firmus Technologies

Firmus Technologies є світовим лідером у розробці та експлуатації ефективної інфраструктури ШІ в Азіатсько-Тихоокеанському регіоні.

Заснована в Австралії у 2019 році, наша місія полягає у створенні найефективнішої інфраструктури штучного інтелекту шляхом поєднання передових технологій із непохитною прихильністю до сталого розвитку.

У Firmus ми унікальні у своєму підході. Ми проектуємо, будуємо та керуємо цифровою інфраструктурою нового класу – AI Factory. Завдяки нашому технологічному підходу від моделі до мережі ми розширили межі систем рідинного охолодження кількох поколінь, управління енергією, оркестровки програмного забезпечення ШІ та будівництва. Для наших клієнтів такий підхід дозволяє нам враховувати кожен ват і доставляти недорогі токени ШІ по всьому світу.

Фірмус AI Cloud

Наша великомасштабна хмарна платформа GPU, Firmus AI Cloud, спеціально створена для надання клієнтам енергоефективних обчислень штучного інтелекту.

Він дає змогу розробникам, підприємствам, навчальним закладам і урядовим користувачам навчати та розгортати моделі ШІ з неперевершеною ефективністю та економією коштів. Завдяки постійно зростаючому набору послуг і додатків ми прагнемо запропонувати хмарний досвід, який є провідним на ринку, пропрієтарним і створеним для масштабування.

Чому фірма?

Як партнер NVIDIA Cloud and Engineering в Азіатсько-Тихоокеанському регіоні ви отримаєте навички, досвід і знання в індустрії штучного інтелекту та візьмете участь у формуванні того, як ця галузь буде виглядати на десятиліття вперед.

Нами керують засновники, а не велика корпорація. Рішення приймаються швидко, наші керівники доступні, а між вами та роботою мінімальна бюрократія. Власність приходить рано. Якою б не була ваша роль, ви матимете прямий зв’язок із результатами, допомагаючи формувати розвиток бізнесу в міру того, як ми виходимо на національний рівень за довгостроковою великомасштабною дорожньою картою.

Працюйте разом із засновниками та експертами з інфраструктури штучного інтелекту, енергетичних систем і обчислень нового покоління.

Те, що ми тут створюємо, впливає не тільки на бізнес. Наші фабрики штучного інтелекту призначені для роботи як активи енергетичної мережі, щоб активно зміцнювати громади та регіони, у яких вони працюють, а не використовувати їх.

Розглядаєте заявку? Щоб приєднатися до нашої команди, вам не потрібен ідеальний досвід. Якщо ви зацікавлені та зацікавлені, для вас є шлях. Ми допомагаємо нашим співробітникам розвиватися в нових областях і приймати виклики, які виходять за межі їх попереднього досвіду.

РЕЗЮМЕ РОЛЬ

Старший інженер зі штучного інтелекту (Inferencing) створюватиме та вдосконалюватиме здатність команди штучного інтелекту та додатків робити висновки, роблячи моделі доступними як надійні, безпечні, масштабовані та високопродуктивні кінцеві точки для внутрішніх продуктів, зовнішніх клієнтів і майбутніх пропозицій Inference-as-a-service.

Ця роль створить інженерну основу для самостійної розміщеної моделі, яка буде працювати в середовищі AI-фабрики організації. Це включає адаптацію моделі, розгортання, ініціалізацію кінцевої точки, вибір середовища виконання, порівняльний аналіз продуктивності та оптимізацію, можливість спостереження, керування потужністю, безпеку та керування життєвим циклом операцій. Мета полягає в тому, щоб надати користувачам передбачуваний і ефективний доступ до моделей, зберігаючи контроль над продуктивністю, вартістю, обробкою даних, конфігурацією розгортання та використанням інфраструктури.

Ця роль є ключовим учасником розробки продукту Model-to-Grid і плану агентських програм. Він перетворює моделі та характеристики середовища виконання в тестовані, повторювані рецепти висновків і профілі кінцевих точок, які можуть інформувати про планування робочого навантаження, розміщення з урахуванням топології, планування потужностей, рекомендації щодо ефективності та прийняття операційних рішень. Він також забезпечить керовані та придатні для цілей кінцеві точки моделі, необхідні агентським системам для міркувань, пошуку, використання інструментів, діагностики, рекомендацій та контрольованої автоматизації.

ОСНОВНІ ОБОВ'ЯЗКИ

• Створюйте, керуйте та постійно вдосконалюйте власні послуги висновків штучного інтелекту для внутрішніх додатків, продуктів, орієнтованих на клієнтів, і майбутніх пропозицій Inference-as-a-service.

• Визначте та реалізуйте стандартні робочі процеси адаптації моделі, що охоплюють прийом моделі, перевірку сумісності, упаковку, вибір часу виконання, оптимізацію, розгортання, реєстрацію кінцевої точки, тестування, випуск і керування життєвим циклом.

• Надання та керування безпечними, масштабованими кінцевими точками висновку для загальних шаблонів додатків штучного інтелекту, включаючи інтерактивну генерацію, RAG, вбудовування, переранжування, пакетну обробку, варіанти мультимодального використання, виклик інструментів і агентські робочі процеси.

• Розробка багаторазових шаблонів розгортання, API, SDK, стандартів конфігурації та робочих процесів самообслуговування для користувачів, щоб запитувати, налаштовувати, отримувати доступ, контролювати, оновлювати та виводити з експлуатації кінцеві точки моделі.

• Робота з провідними фреймворками та наборами інструментів для висновків, такими як TensorRT-LLM, TensorRT, SGLang, vLLM, Triton Inference Server, NVIDIA Dynamo, NVIDIA NIM, CUDA, cuDNN, NCCL, а також пов’язаними інструментами обслуговування, профілювання та спостереження.

• Оптимізуйте продуктивність обслуговування моделі за допомогою відповідних методів, включаючи квантування, компіляцію, групування, безперервне пакетування, маршрутизацію запитів, керування KV-кешем, кешування префіксів, спекулятивне декодування, балансування навантаження, маршрутизацію моделі, оптимізацію пам’яті та розподілений паралелізм.

• Створюйте та перевіряйте багаторазові рецепти висновків, які вказують сумісні версії моделі, версії фреймворку та середовища виконання, точні формати, конфігурації GPU, вимоги до топології, підходи до масштабування, профілі планувальника, результати порівняльного тестування та очікувані конверти продуктивності.

• Використовуйте такі підходи квантування та оптимізації, як NVFP4, FP8, INT8, компіляція TensorRT, оптимізація ядра, ефективні механізми уваги та методики керування пам’яттю, зберігаючи узгоджені цілі якості моделі.

• Розробляйте конфігурації розподіленого висновку для великих моделей, включаючи тензор, конвеєр, експерт, контекст і паралелізм даних, де це доречно.…

Джерело: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/security-engineer-application-greenhouse/ai-engineer-inference-sydney-australia-94778)