Μηχανικός Δεδομένων - AI Pipelines & DataOps

Θέλουμε να μεγαλώσετε μαζί μας
Τα υψηλής ποιότητας, αξιόπιστα δεδομένα είναι το θεμέλιο πάνω στο οποίο χτίζεται κάθε περίπτωση χρήσης τεχνητής νοημοσύνης και αυτός ο ρόλος είναι υπεύθυνος να κάνει αυτή τη βάση ακλόνητη. Ως Μηχανικός Δεδομένων μας για AI Pipelines & DataOps, θα σχεδιάσετε και θα παραδώσετε τους αγωγούς απορρόφησης, τις αρχιτεκτονικές ροής και τα API που τροφοδοτούν το AI και τα συστήματα ανάλυσης της Intersnack με τα δεδομένα που χρειάζονται για να αποδώσουν σε κλίμακα. Θα αναφέρεστε στο Πρόγραμμα AI και θα εργαστείτε σε στενή συνεργασία με μηχανικούς τεχνητής νοημοσύνης, αρχιτέκτονες δεδομένων και επιχειρηματικές ομάδες, με ιδιαίτερη έμφαση στα περιβάλλοντα παραγωγής, όπου τα δεδομένα συσκευών αιχμής παρουσιάζουν μοναδικές προκλήσεις απορρόφησης. Στην Intersnack, οικοδομούμε σε μια σταθερή ψηφιακή βάση και η μηχανική σας εργασία θα είναι κεντρική για την επέκταση αυτής της βάσης στην εποχή της τεχνητής νοημοσύνης.
Τι Μπορούμε να Προσφέρουμε
Αυτός ο ρόλος προσφέρει την ευκαιρία να εργαστείτε σε ένα πραγματικά διαφορετικό τοπίο δεδομένων, από την κατασκευή συσκευών αιχμής και αισθητήρες IoT έως δομημένα συστήματα εταιρικών δεδομένων σε προμήθειες και πωλήσεις, παρέχοντάς σας εύρος τεχνικών προκλήσεων που λίγοι ρόλοι μηχανικής δεδομένων μπορούν να ταιριάξουν. Θα έχετε άμεση επιρροή στον τρόπο με τον οποίο ενεργοποιούνται οι περιπτώσεις χρήσης τεχνητής νοημοσύνης και αναλυτικών στοιχείων σε μια επιχείρηση 4,5 δισεκατομμυρίων ευρώ, με την αυτονομία να ορίζετε μοτίβα αγωγών, πρότυπα API και πρακτικές DataOps στις οποίες θα αξιοποιήσουν άλλοι. Η συνεργασία βρίσκεται στο επίκεντρο του τρόπου με τον οποίο εργαζόμαστε και θα ενσωματωθείτε σε μια ομάδα προγράμματος που καλύπτει την επιστήμη δεδομένων, την αρχιτεκτονική τεχνητής νοημοσύνης και την ενεργοποίηση των επιχειρήσεων. Το Ντίσελντορφ είναι η οικιακή βάση, με ευελιξία για απομακρυσμένη εργασία.
Πώς θα περάσετε το χρόνο σας ως ο επόμενος μηχανικός δεδομένων μας - AI Pipelines & DataOps
Θα σχεδιάσετε και θα δημιουργήσετε την υποδομή δεδομένων που τροφοδοτεί το πρόγραμμα AI της Intersnack, από κλιμακωτούς αγωγούς απορρόφησης που χειρίζονται τόσο δομημένα εταιρικά δεδομένα όσο και μη δομημένα σήματα από περιβάλλοντα παραγωγής, έως τα API που εκθέτουν δεδομένα, μοντέλα και υπηρεσίες τεχνητής νοημοσύνης για κατανάλωση σε ολόκληρο τον οργανισμό. Η εργασία σας θα καλύπτει την αρχιτεκτονική, την υλοποίηση και τις λειτουργίες, με ιδιαίτερη έμφαση στην ποιότητα, την παρατηρησιμότητα και τη συνεχή βελτίωση.
Τι θα κάνετε

• Σχεδιασμός και εφαρμογή κλιμακωτών αγωγών απορρόφησης δεδομένων για δομημένες και μη δομημένες πηγές δεδομένων, συμπεριλαμβανομένων συστημάτων κατασκευής, συσκευών αιχμής και πλατφορμών εταιρικών δεδομένων, διασφαλίζοντας σταθερή ποιότητα δεδομένων από την πηγή έως την κατανάλωση

• Δημιουργήστε και διατηρήστε σωλήνες δεδομένων παρτίδας και ροής για περιπτώσεις χρήσης αναλυτικών στοιχείων και τεχνητής νοημοσύνης, αξιοποιώντας τα εργαλεία του cloud στο Microsoft Azure ή/και το AWS

• Σχεδιάστε και εκθέστε REST ή GraphQL API για στοιχεία δεδομένων, τελικά σημεία μοντέλων μηχανικής εκμάθησης και υπηρεσίες τεχνητής νοημοσύνης, επιτρέποντας αξιόπιστη, ελεγχόμενη κατανάλωση από εσωτερικές εφαρμογές και αναλυτικά συστήματα

• Εφαρμόστε πρακτικές CI/CD και αρχές DataOps σε όλη την ανάπτυξη και ανάπτυξη αγωγών, υποστηρίζοντας αυτοματοποιημένες δοκιμές, έκδοση εκδόσεων και διαχείριση έκδοσης για την υποδομή δεδομένων

• Διασφαλίστε την ποιότητα, τη γενεαλογία και την παρατηρησιμότητα δεδομένων σε όλους τους αγωγούς, εφαρμόζοντας παρακολούθηση και ειδοποίηση που εμφανίζει ζητήματα δεδομένων προτού επηρεάσουν τις εξόδους AI ή αναλυτικών στοιχείων

• Υποστήριξη της ενσωμάτωσης δεδομένων κατασκευής και αιχμής συσκευών, συμπεριλαμβανομένων συστημάτων IoT και OT, στην κεντρική πλατφόρμα δεδομένων, αντιμετωπίζοντας τις συγκεκριμένες προκλήσεις καθυστέρησης, μορφής και όγκου λειτουργικών τεχνολογικών περιβαλλόντων

• Συνεργαστείτε με επιστήμονες δεδομένων και μηχανικούς τεχνητής νοημοσύνης για το σχεδιασμό και τη βελτιστοποίηση ροών δεδομένων που υποστηρίζουν αγωγούς εκπαίδευσης μοντέλων, συμπερασμάτων και ανάκτησης γνώσης

• Εφαρμόστε πρακτικές ασφαλείας ανά σχεδιασμό σε όλους τους σχεδιασμούς αγωγών και API, συμπεριλαμβανομένου του ελέγχου πρόσβασης, της κρυπτογράφησης και της προστασίας από διαρροή δεδομένων, σύμφωνα με τα πρότυπα κυριαρχίας και συμμόρφωσης της Intersnack

• Συνεισφέρετε στο πρόγραμμα παιδείας και ενεργοποίησης της τεχνητής νοημοσύνης υποστηρίζοντας τους συναδέλφους στην κατανόηση της υγείας των γραμμών δεδομένων, των προτύπων ποιότητας δεδομένων και του ρόλου των αξιόπιστων δεδομένων στα αποτελέσματα της τεχνητής νοημοσύνης

Βασικές Δεξιότητες & Εμπειρία

• Αποδεδειγμένη εμπειρία στο σχεδιασμό και την υλοποίηση αγωγών δεδομένων ποιότητας παραγωγής χρησιμοποιώντας υπηρεσίες εγγενείς στο cloud στο Microsoft Azure (π.χ. Azure Data Factory, Azure Event Hubs, Databricks) ή/και AWS (π.χ. AWS Glue, Kinesis, Lake Formation)

• Ισχυρή επάρκεια σε τουλάχιστον ένα πλαίσιο διοχέτευσης ή μετασχηματισμού (π.χ. Apache Spark, dbt, Apache Kafka ή αντίστοιχο) και μια γλώσσα σεναρίου όπως η Python ή η Scala

• Στέρεη πρακτική εμπειρία με βάσεις δεδομένων SQL και NoSQL (π.χ. PostgreSQL, Cosmos DB, MongoDB ή ισοδύναμο), συμπεριλαμβανομένης της μοντελοποίησης δεδομένων και της βελτιστοποίησης ερωτημάτων τόσο για συναλλακτικό όσο και για αναλυτικό φόρτο εργασίας

• Απολαύστε εμπειρία δημιουργίας και συντήρησης αγωγών ροής και παρτίδας για εφαρμογές αναλυτικών στοιχείων και τεχνητής νοημοσύνης, με κατανόηση των αντισταθμίσεων μεταξύ των δύο προσεγγίσεων

• Δυνατότητα σχεδίασης και υλοποίησης API REST ή GraphQL για εξυπηρέτηση δεδομένων και μοντέλων, με κατανόηση της έκδοσης, της τεκμηρίωσης και της διακυβέρνησης του API

• Εξοικείωση με τις πρακτικές DataOps και CI/CD όπως εφαρμόζονται στη μηχανική δεδομένων, συμπεριλαμβανομένων των αυτοματοποιημένων δοκιμών, της ενορχήστρωσης αγωγών και της υποδομής ως κώδικας

• Εμπειρία με εργαλεία ποιότητας δεδομένων, παρακολούθηση γενεαλογίας και πλαίσια παρατηρησιμότητας (π.χ. Great Expectations, OpenLineage ή ισοδύναμα)

• Εργασιακή γνώση της τεχνητής νοημοσύνης και των θεμελιωδών αρχών ασφάλειας δεδομένων, συμπεριλαμβανομένων των ελέγχων πρόσβασης δεδομένων, της κρυπτογράφησης και κινδύνων όπως η εξαγωγή δεδομένων σε περιβάλλοντα αγωγών

• Επίγνωση του GDPR, του EU AI Act, και των απαιτήσεων της ΕΕ για την κυριαρχία δεδομένων και τις επιπτώσεις τους στο σχεδιασμό της υποδομής δεδομένων

• Απαιτείται ισχυρή γνώση της προφορικής και γραπτής αγγλικής γλώσσας. η γνώση Γερμανικών θεωρείται προσόν

Πολύτιμη Εμπειρία

• Εμπειρία εργασίας με περιβάλλοντα δεδομένων κατασκευής ή λειτουργικής τεχνολογίας (OT), συμπεριλαμβανομένης της απορρόφησης δεδομένων IoT/συσκευής άκρων και χειρισμού δεδομένων χρονοσειράς

• Εξοικείωση με τα Microsoft Fabric, OneLake ή Azure Purview για ενοποιημένη διαχείριση πλατφόρμας δεδομένων…

Πηγή: Arbeitnow (https://www.arbeitnow.com/jobs/companies/intersnack-it-kg/data-engineer-ai-pipelines-dataops-dusseldorf-8107)