Інженер MLOps / LLMOps (середнього рівня)

Про Irth Solutions
Irth Solutions є провідним постачальником хмарного програмного забезпечення SaaS для запобігання пошкодженням, збереження цілісності активів, залучення зацікавлених сторін і управління землею, допомагаючи енергетичним, комунальним, телекомунікаційним та інфраструктурним компаніям захистити свою критичну мережеву інфраструктуру. Маючи майже три десятиліття досвіду в галузі, Irth обслуговує клієнтів по всій Північній Америці та продовжує розширювати свою платформу за допомогою нових можливостей на основі даних і ШІ.
Інженер MLOps / LLMOps – Insights (AI/ML)
Розташування: віддалена – Індія
Відділ: Інсайти (AI/ML)
Підпорядковується: менеджеру платформи даних і аналітики
Про роль
Irth будує керовану багатохмарну Lakehouse на Databricks, щоб розблокувати інформацію про різні продукти, забезпечити постійність даних і прискорити інновації AI/ML для наших клієнтів.
Ми шукаємо інженера MLOps/LLMOps, щоб перетворити цю основу на масштабовані, автоматизовані, безпечні та доступні для спостереження послуги машинного навчання та LLM.
Ви тісно співпрацюватимете з командами Data Science, Data Engineering, Platform, Product і domain teams для створення можливостей ML і GenAI для підтримки ключових галузей Irth:

• Запобігання пошкодженням

• Цілісність активів

• Землевпорядкування

• Залучення зацікавлених сторін

Це ключова роль у створенні інженерних шаблонів багаторазового використання для контрактів даних, походження, якості даних, безпеки, CI/CD, розгортання моделі, моніторингу та надійності роботи.
Ви допоможете забезпечити ефективний перехід моделей і додатків LLM від експериментів до виробництва — і залишатися надійними, доступними для спостереження, безпечними та економічно ефективними протягом усього життєвого циклу.
Основні обов'язки
1. Створіть платформу ML/LLM на Lakehouse

• Операціоналізація повного життєвого циклу машинного навчання, включаючи навчання, оцінку, упаковку, розгортання та моніторинг, на Databricks.

• Реалізуйте робочі процеси машинного навчання за допомогою медальйонної архітектури «Бронза» → «Срібло» → «Золото» з Delta Lake як базовим рівнем зберігання.

• Встановлення шаблонів впровадження для керування моделлю Unity Catalog, підготовка активів моделі для керування на основі каталогу, походження, виявлення та контролю доступу.

• Розробляйте багаторазові шаблони для завдань ML/LLM, робочих процесів і процесів розгортання.

• Створюйте та підтримуйте кластерні політики для робочих навантажень ML/LLM, узгоджених із огородженнями корпоративної платформи.

• Застосовуйте такі стандарти платформи, як:

• Приватна мережа

• Обов'язкове тегування ресурсу

• Довгострокова підтримка (LTS) версії Databricks Runtime

• Безпечне управління секретами

• Відповідна політика обчислень

• Створіть багаторазові шаблони, які дозволять спеціалістам із обробки даних та інженерам ML розгортати моделі послідовно та безпечно.

2. Виробництво функцій ML & LLM

• Співпрацюйте з командами Data Science і Product Product для виробництва моделей, які підтримують такі випадки використання, як:

• Оцінка ризику земляних робіт та інфраструктури

• Виявлення аномалій

• Прогнозне обслуговування

• Геопросторове збагачення

• Розпізнавання іменованих об’єктів (NER) над ділянками та сервітутами

• Узагальнення комунікації із зацікавленими сторонами

• Пошуково-доповнена генерація (RAG)

• Асистенти та програми для підтримки прийняття рішень на основі штучного інтелекту

• Проектувати, будувати та підтримувати виробничі трубопроводи LLM і RAG.

• Реалізуйте векторні архітектури пошуку та пошуку за допомогою таких технологій, як Databricks Vector Search.

• Розгортання кінцевих точок обслуговування моделей і висновків і керування ними.

• Оптимізуйте робочі навантаження логічного висновку для продуктивності, масштабованості, надійності та вартості.

• Застосовуйте такі методи оптимізації, як:

• Квантування

• Дистиляція

• Кешування підказок і відповідей

• Оптимізація пошуку

• Дозування

• Впроваджуйте шаблони пакетного, потокового та онлайн-виведення на основі бізнес-вимог і вимог до затримки.

• Встановіть чіткі очікування щодо рівня обслуговування та операційні SLA для пріоритетних робочих навантажень A/B/C.

3. Інженерна надійність, безпека та відповідність життєвому циклу машинного навчання

• Інтегруйте контракти даних і контроль якості в конвеєри ML і LLM.

• Запровадження автоматизованої перевірки для:

• Дрейф схеми

• Нульові пороги

• Дубльовані записи

• Посилальна цілісність

• Повнота даних

• Проблеми з якістю функцій

• Застосуйте виявлення, класифікацію, маскування та обфускацію ідентифікаційної інформації до того, як конфіденційні дані будуть використані функціями чи моделями.

• Застосування вимог щодо постійності даних за допомогою політики як коду.

• Переконайтеся, що регульовані або конфіденційні дані бронзового шару залишаються в потрібному географічному регіоні.

• Переконайтесь, що лише відповідним чином анонімні або зведені дані передаються до глобальних робочих областей або служб.

• Підтримуйте наскрізне походження протягом життєвого циклу машинного навчання, зокрема: вихідні таблиці/стовпці → Функції → Моделі → Обслуговування кінцевих точок → Програми/BI

• Поверхнева інформація про походження та управління через відповідні панелі моніторингу та управління.

• Підтримуйте вимоги безпеки, відповідності, аудиту та перевірки доступу на всій платформі машинного навчання.

4. Автоматизуйте все – CI/CD і тестування

• Використовуйте Databricks Asset Bundles (DAB) і GitHub Actions для версії, тестування та просування активів ML/LLM у різних середовищах.

• Автоматизуйте просування: DEV → QA → PROD

• Переконайтеся, що виробничі зміни впроваджуються через контрольовані процеси CI/CD без прямого розвитку в PROD.

• Версія та керування:

• Робочі місця

• Зошити

• Артефакти моделі

• Кластерні політики

• Конфігурація

• Дозволи

• Визначення розгортання

• Створення автоматизованих блоків, інтеграції, регресії та наборів тестів якості даних.

• Впровадити перевірку якості моделі як частину конвеєрів розгортання.

• Перевірте ключові показники ефективності бізнесу та аналітичні результати щодо семантичного рівня каталогу Unity перед публікацією.

• Встановіть шлюзи для розгортання, які перешкоджають прогресуванню моделей або додатків, якщо вимоги щодо якості, безпеки чи продуктивності не виконуються.

5. Спостережливість і виробничі операції

• Інструментуйте канали та служби ML/LLM для підтримки визначених SLO, зокрема:

•
Успіх конвеєра P1: ≥99,5%

•
P1 MTTD: ≤5 хвилин

•
MTTR: ≤60 хвилин…

Джерело: Himalayas (https://himalayas.app/companies/irth/jobs/mlops-llmops-engineer-mid-level)