Інженер інфраструктури AI, платформа обслуговування

Як інженер-програміст у команді інфраструктури ML ви розроблятимете та створюватимете платформи для масштабованого, надійного та ефективного обслуговування LLM. Наша платформа підтримує передові дослідницькі та виробничі системи, підтримуючи як внутрішні, так і зовнішні випадки використання в різних середовищах.

Ідеальний кандидат поєднує в собі сильні основи машинного навчання з глибоким досвідом проектування серверних систем. Ви працюватимете в середовищі високої співпраці, поєднуючи дослідження та інженерні розробки, щоб забезпечити бездоганний досвід для наших клієнтів і прискорити інновації в усій компанії.

Ви:

• Створюйте та обслуговуйте відмовостійкі високопродуктивні системи для обслуговування LLM та інших моделей у масштабі.

• Створіть внутрішню платформу для розширення можливостей виявлення можливостей LLM.

• Співпрацюйте з дослідниками та інженерами для інтеграції та оптимізації моделей для виробництва та досліджень.

• Проводити аналізи архітектури та дизайну, щоб підтримувати найкращі практики проектування та масштабованості системи.

• Розробка рішень для моніторингу та спостережуваності для забезпечення працездатності та продуктивності системи.

• Керуйте проектами від кінця до кінця, від збору вимог до реалізації, у міжфункціональному середовищі.

В ідеалі ви мали б:

• 4+ роки досвіду створення великомасштабних, високопродуктивних серверних систем.

• Хороші навички програмування однією або кількома мовами (наприклад, Python, Go, Rust, C++).

• Досвід роботи з основами обслуговування та маршрутизації LLM (наприклад, обмеження швидкості, потокова передача токенів, балансування навантаження, бюджети тощо)

• Досвід роботи з можливостями та концепціями LLM, такими як міркування, виклик інструментів, шаблони підказок тощо.

• Досвід роботи з контейнерами та інструментами оркестровки (наприклад, Docker, Kubernetes).

• Знайомство з хмарною інфраструктурою (AWS, GCP) та інфраструктурою як кодом (наприклад, Terraform).

• Доведена здатність вирішувати складні проблеми та працювати самостійно в швидкозмінних умовах.

Приємно мати:

• Досвід роботи з сучасними фреймворками LLM, такими як vLLM, SGLang, TensorRT-LLM або текстові висновки.

ЗВЕРНІТЬ УВАГУ: наша політика вимагає 90-денного періоду очікування перед повторним розглядом кандидатів на ту саму посаду. Це дозволяє нам забезпечити справедливу та ретельну оцінку всіх заявників.

Про нас:

У Scale наша місія полягає в розробці надійних систем ШІ для прийняття найважливіших рішень у світі. Наші продукти забезпечують високоякісні дані та технології повного стеку, які служать основою для провідних світових моделей, і допомагають підприємствам і урядам створювати, розгортати та контролювати програми ШІ, які забезпечують реальний вплив. Ми тісно співпрацюємо з такими лідерами галузі, як Meta, Ernst & Young, Mayo Clinic, Time Inc., урядом Катару та урядовими установами США, включаючи армію та повітряні сили. Ми розширюємо нашу команду, щоб прискорити розробку додатків ШІ.

Ми віримо, що кожен повинен мати можливість докладати всіх зусиль до роботи, тому ми пишаємося тим, що ми є інклюзивним робочим місцем із рівними можливостями. Ми прагнемо до рівних можливостей працевлаштування незалежно від раси, кольору шкіри, походження, релігії, статі, національного походження, сексуальної орієнтації, віку, громадянства, сімейного стану, статусу інвалідності, гендерної приналежності чи статусу ветерана.

Ми прагнемо працювати з заявниками з фізичними та психічними вадами та надавати їм розумні умови. Якщо вам потрібна допомога та/або розумне пристосування під час подання заявки або процесу найму через інвалідність, будь ласка, зв’яжіться з нами за адресою ----- Будь ласка, перегляньте плакат Міністерства праці США «Знай свої права», щоб отримати додаткову інформацію.

Ми дотримуємося положення про прозорість оплати праці Міністерства праці США.

ЗВЕРНІТЬ УВАГУ: ми збираємо, зберігаємо та використовуємо персональні дані для наших професійних бізнес-цілей, включаючи повідомлення про вакансії, які можуть вас зацікавити, і передавання нашим афілійованим особам. Ми обмежуємо персональні дані, які ми збираємо, тими, які ми вважаємо доречними та необхідними для управління потребами заявників, надання наших послуг і дотримання чинного законодавства. Будь-яка інформація, яку ми збираємо у зв’язку з вашою заявкою, оброблятиметься відповідно до нашої внутрішньої політики та програм, розроблених для захисту персональних даних. Щоб отримати додаткову інформацію, перегляньте нашу політику конфіденційності.

Знайдіть роботу у Великій Британії на Arbeitnow

Джерело: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/scaleai/ai-infrastructure-engineer-serving-platform-london-413534)