MLOps / LLMOps Engineer (Μεσαίου Επιπέδου)

Σχετικά με την Irth Solutions
Η Irth Solutions είναι κορυφαίος πάροχος λογισμικού SaaS που βασίζεται σε σύννεφο για την πρόληψη ζημιών, την ακεραιότητα των περιουσιακών στοιχείων, τη συμμετοχή των ενδιαφερομένων και τη διαχείριση γης, βοηθώντας τις εταιρείες ενέργειας, υπηρεσιών κοινής ωφελείας, τηλεπικοινωνιών και υποδομών να προστατεύουν τις κρίσιμες υποδομές δικτύου τους. Με σχεδόν τρεις δεκαετίες εμπειρίας στον κλάδο, η Irth εξυπηρετεί πελάτες σε όλη τη Βόρεια Αμερική και συνεχίζει να επεκτείνει την πλατφόρμα της με νέες δυνατότητες που βασίζονται σε δεδομένα και τεχνητή νοημοσύνη.
MLOps / LLMOps Engineer – Insights (AI/ML)
Τοποθεσία: Remote – Ινδία
Τμήμα: Insights (AI/ML)
Αναφορές προς: Data Platform & Analytics Manager
Σχετικά με τον Ρόλο
Η Irth χτίζει ένα ελεγχόμενο Lakehouse με πολλά νέφη σε Databricks για να ξεκλειδώσει τις πληροφορίες μεταξύ προϊόντων, να επιβάλει τη διατήρηση δεδομένων και να επιταχύνει την καινοτομία AI/ML για τους πελάτες μας.
Αναζητούμε έναν Μηχανικό MLOps/LLMOps για να μεταφράσει αυτό το ίδρυμα σε κλιμακούμενες, αυτοματοποιημένες, ασφαλείς και παρατηρήσιμες υπηρεσίες μηχανικής μάθησης και LLM.
Θα συνεργαστείτε στενά με ομάδες Data Science, Data Engineering, Platform, Product και domain για την παραγωγή δυνατοτήτων ML και GenAI που υποστηρίζουν τους βασικούς κλάδους της Irth:

• Πρόληψη Βλαβών

• Ακεραιότητα περιουσιακών στοιχείων

• Διαχείριση Γης

• Εμπλοκή ενδιαφερομένων

Αυτός είναι ένας κεντρικός ρόλος στη δημιουργία επαναχρησιμοποιήσιμων μοτίβων μηχανικής για συμβόλαια δεδομένων, γενεαλογία, ποιότητα δεδομένων, ασφάλεια, CI/CD, ανάπτυξη μοντέλου, παρακολούθηση και λειτουργική αξιοπιστία .
Θα βοηθήσετε να διασφαλίσετε ότι τα μοντέλα και οι εφαρμογές LLM θα μετακινηθούν αποτελεσματικά από τον πειραματισμό στην παραγωγή και θα παραμείνουν αξιόπιστα, παρατηρήσιμα, ασφαλή και οικονομικά αποδοτικά καθ' όλη τη διάρκεια του κύκλου ζωής τους.
Βασικές Ευθύνες
1. Κατασκευάστε την πλατφόρμα ML/LLM στο Lakehouse

• Λειτουργία ολόκληρου του κύκλου ζωής της ML—συμπεριλαμβανομένης της εκπαίδευσης, της αξιολόγησης, της συσκευασίας, της ανάπτυξης και της παρακολούθησης—σε Databricks.

• Εφαρμόστε ροές εργασιών ML χρησιμοποιώντας την αρχιτεκτονική μενταγιόν Bronze → Silver → Gold με τη λίμνη Delta ως το υποκείμενο στρώμα αποθήκευσης.

• Καθιερώστε μοτίβα υλοποίησης για τη διαχείριση μοντέλων καταλόγου Unity , προετοιμάζοντας στοιχεία μοντέλων για διακυβέρνηση, καταγωγή, ανακάλυψη και έλεγχο πρόσβασης βάσει καταλόγου.

• Αναπτύξτε επαναχρησιμοποιήσιμα πρότυπα για εργασίες ML/LLM, ροές εργασίας και διαδικασίες ανάπτυξης.

• Δημιουργήστε και διατηρήστε πολιτικές συμπλέγματος για φόρτους εργασίας ML/LLM ευθυγραμμισμένες με προστατευτικά κιγκλιδώματα εταιρικής πλατφόρμας.

• Εφαρμόστε πρότυπα πλατφόρμας όπως:

• Ιδιωτική δικτύωση

• Υποχρεωτική επισήμανση πόρων

• Εκδόσεις Long-Term Support (LTS) Databricks Runtime

• Ασφαλής διαχείριση μυστικών

• Κατάλληλες υπολογιστικές πολιτικές

• Δημιουργήστε επαναχρησιμοποιήσιμα μοτίβα που επιτρέπουν στους Επιστήμονες Δεδομένων και στους Μηχανικούς ML να αναπτύσσουν μοντέλα με συνέπεια και ασφάλεια.

2. Παραγωγή Χαρακτηριστικών ML & LLM

• Συνεργαστείτε με τις ομάδες Data Science και Product για την παραγωγή μοντέλων που υποστηρίζουν περιπτώσεις χρήσης όπως:

• Βαθμολόγηση κινδύνου εκσκαφών και υποδομών

• Ανίχνευση ανωμαλιών

• Προγνωστική συντήρηση

• Γεωχωρικός εμπλουτισμός

• Αναγνώριση επωνυμίας οντότητας (NER) για δέματα και δουλείες

• Σύνοψη της επικοινωνίας με τα ενδιαφερόμενα μέρη

• Ανάκτηση-αυξημένη γενιά (RAG)

• Βοηθοί με τεχνητή νοημοσύνη και εφαρμογές υποστήριξης αποφάσεων

• Σχεδιασμός, κατασκευή και συντήρηση αγωγών LLM και RAG ποιότητας παραγωγής.

• Εφαρμογή διανυσματικών αρχιτεκτονικών αναζήτησης και ανάκτησης χρησιμοποιώντας τεχνολογίες όπως η διανυσματική αναζήτηση Databricks.

• Ανάπτυξη και διαχείριση τελικών σημείων εξυπηρέτησης μοντέλων και συμπερασμάτων.

• Βελτιστοποιήστε τους φόρτους εργασίας συμπερασμάτων για απόδοση, επεκτασιμότητα, αξιοπιστία και κόστος.

• Εφαρμόστε τεχνικές βελτιστοποίησης όπως:

• Κβαντοποίηση

• Απόσταξη

• Προσωρινή αποθήκευση προτροπής και απόκρισης

• Βελτιστοποίηση ανάκτησης

• Παρτίδα

• Εφαρμόστε μοτίβα συμπερασμάτων παρτίδας, ροής και στο διαδίκτυο με βάση τις επιχειρηματικές απαιτήσεις και τις απαιτήσεις καθυστέρησης.

• Καθιερώστε σαφείς προσδοκίες σε επίπεδο υπηρεσιών και λειτουργικές SLA για φόρτους εργασίας A/B/C προτεραιότητας.

3. Αξιοπιστία Μηχανικού, Ασφάλεια & Συμμόρφωση στον κύκλο ζωής ML

• Ενσωμάτωση συμβάσεων δεδομένων και πυλών ποιότητας σε αγωγούς ML και LLM.

• Εφαρμογή αυτοματοποιημένης επικύρωσης για:

• Μετατόπιση σχήματος

• Μηδενικά όρια

• Διπλότυπες εγγραφές

• Αναφορική ακεραιότητα

• Πληρότητα δεδομένων

• Ζητήματα ποιότητας χαρακτηριστικών

• Εφαρμογή ανίχνευσης, ταξινόμησης, κάλυψης και συσκότισης PII προτού καταναλωθούν ευαίσθητα δεδομένα από χαρακτηριστικά ή μοντέλα.

• Επιβολή των απαιτήσεων διαμονής δεδομένων μέσω της πολιτικής ως κώδικας .

• Βεβαιωθείτε ότι τα ρυθμιζόμενα ή ευαίσθητα δεδομένα στρώματος Bronze παραμένουν στην απαιτούμενη γεωγραφική περιοχή.

• Βεβαιωθείτε ότι μεταφέρονται μόνο κατάλληλα ανώνυμα ή συγκεντρωτικά δεδομένα σε παγκόσμιους χώρους εργασίας ή υπηρεσίες.

• Διατηρήστε τη γραμμή από άκρο σε άκρο σε όλο τον κύκλο ζωής του ML, συμπεριλαμβανομένων: Πίνακες/στήλες πηγής → Χαρακτηριστικά → Μοντέλα → Τελικά σημεία εξυπηρέτησης → Εφαρμογές/ΒΙ

• Επιφανειακή καταγωγή και πληροφορίες διακυβέρνησης μέσω κατάλληλων πινάκων ελέγχου και διακυβέρνησης.

• Υποστηρίξτε τις απαιτήσεις ασφάλειας, συμμόρφωσης, ελέγχου και ελέγχου πρόσβασης σε όλη την πλατφόρμα ML.

4. Αυτοματοποιήστε τα πάντα – CI/CD & Testing

• Χρησιμοποιήστε Databricks Asset Bundles (DAB) και GitHub Actions για έκδοση, δοκιμή και προώθηση στοιχείων ML/LLM σε περιβάλλοντα.

• Αυτοματοποιήστε την προώθηση σε: DEV → QA → PROD

• Βεβαιωθείτε ότι οι αλλαγές παραγωγής αναπτύσσονται μέσω ελεγχόμενων διαδικασιών CI/CD χωρίς άμεση ανάπτυξη στο PROD.

• Έκδοση και διαχείριση:

• Θέσεις εργασίας

• Τετράδια

• Μοντέλα τεχνουργήματα

• Πολιτικές συμπλέγματος

• Διαμόρφωση

• Άδειες

• Ορισμοί ανάπτυξης

• Δημιουργία αυτοματοποιημένων μονάδων, ολοκλήρωσης, παλινδρόμησης και δοκιμών ποιότητας δεδομένων.

• Εφαρμογή επικύρωσης ποιότητας μοντέλου ως μέρος των αγωγών ανάπτυξης.

• Επικύρωση επιχειρηματικών KPI και αναλυτικών αποτελεσμάτων σε σχέση με το σημασιολογικό επίπεδο Unity Catalog πριν από τη δημοσίευση της παραγωγής.

• Δημιουργήστε πύλες ανάπτυξης που εμποδίζουν την πρόοδο μοντέλων ή εφαρμογών όταν δεν πληρούνται οι απαιτήσεις ποιότητας, ασφάλειας ή απόδοσης.

5. Παρατηρησιμότητα & Παραγωγικές Λειτουργίες

• Σωληνώσεις και υπηρεσίες ML/LLM οργάνων για την υποστήριξη καθορισμένων SLO, συμπεριλαμβανομένων:

•
Επιτυχία αγωγού P1: ≥99,5%

•
P1 MTTD: ≤5 λεπτά

•
MTTR: ≤60 λεπτά…

Πηγή: Himalayas (https://himalayas.app/companies/irth/jobs/mlops-llmops-engineer-mid-level)