Ανώτερος Μηχανικός Πλατφόρμας Δεδομένων

Αναζητούμε έναν Ανώτερο Μηχανικό Πλατφόρμας Δεδομένων για να ενταχθεί στην Πλατφόρμα Δεδομένων στο Smartly!

Η Smartly χτίζει την τυπική διαδρομή για ελεγχόμενη κοινή χρήση δεδομένων σε υπηρεσίες προϊόντων, αναλυτικά στοιχεία και AI/ML. Η ομάδα της πλατφόρμας δεδομένων κατέχει τα συμβόλαια, τους μηχανισμούς ελέγχου, τις διαδρομές δημοσίευσης, τα μεταδεδομένα καταλόγου, τους κανόνες κύκλου ζωής, τη γενεαλογία, τα δικαιώματα και τα δομικά στοιχεία χρόνου εκτέλεσης που καθιστούν τα επαναχρησιμοποιήσιμα δεδομένα ασφαλή και πρακτικά σε κλίμακα.

Αυτός είναι ένας ρόλος για κάποιον που θέλει να διαμορφώσει μια πλατφόρμα νωρίς, ενώ εργάζεται από την αρχή σε συγκεκριμένα προβλήματα παραγωγής. Η Smartly διαθέτει ήδη τα συστήματα παραγωγής, τη βάση του Kafka, τις βάσεις δεδομένων PostgreSQL, τους αναλυτικούς καταναλωτές και τις περιπτώσεις χρήσης AI/ML που χρειάζονται καλύτερη βάση δεδομένων. Η πρόκληση είναι να μετατραπεί αυτή η πραγματικότητα σε μια τυπική διαδρομή που οι μηχανικοί θέλουν πραγματικά να χρησιμοποιήσουν.

Το πρώτο μας ορόσημο εστιάζεται: η κεντρική διαχείριση πίνακες δημοσίευσης σε βάσεις δεδομένων PostgreSQL που ανήκουν σε υπηρεσίες, καταγράφηκαν μέσω του Debezium CDC στο Kafka και καταχωρήθηκαν στο DataHub με μεταδεδομένα ιδιοκτησίας, κύκλου ζωής, γενεαλογίας και ανάλυσης επιπτώσεων. Μακροπρόθεσμα, η πλατφόρμα επεκτείνεται προς προϊόντα δεδομένων αυτοεξυπηρέτησης, ελεγχόμενες υλοποιήσεις, ανθεκτική κοινή κατάσταση και επαναχρησιμοποιήσιμα δεδομένα στα λειτουργικά και αναλυτικά συστήματα της Smartly.

Αυτός δεν είναι ένας ρόλος όπου διατηρείτε μόνο μια υπάρχουσα σωλήνωση αναφορών. Θα βοηθήσετε στο σχεδιασμό και τη δημιουργία της διαδρομής πλατφόρμας που χρησιμοποιούν άλλες ομάδες μηχανικών όταν δημοσιεύουν και καταναλώνουν κοινόχρηστα δεδομένα.

Τι θα κάνεις

• Σχεδιάστε και δημιουργήστε υπηρεσίες πλατφόρμας, εργαλεία και ροές εργασιών για δημοσίευση και κατανάλωση δεδομένων βάσει συμβάσεων.

• Δημιουργήστε την πρώτη διαδρομή παραγωγής για πίνακες δημοσίευσης PostgreSQL που διαχειρίζονται πλατφόρμα, Debezium CDC, θέματα Kafka και εγγραφή καταλόγου.

• Δημιουργήστε ροές εργασίας τύπου GitOps όπου τα συμβόλαια, τα σχήματα, η ιδιοκτησία, ο κύκλος ζωής, η συμβατότητα, τα μεταδεδομένα πολιτικής και η επιθυμητή κατάσταση χρόνου εκτέλεσης ελέγχονται, επικυρώνονται και εναρμονίζονται ως κώδικας.

• Δημιουργήστε εργαλεία που παρέχουν στους μηχανικούς προϊόντων γρήγορη ανατροφοδότηση πριν δημοσιεύσουν ή αλλάξουν προϊόντα δεδομένων.

• Βοηθήστε στον καθορισμό του τρόπου με τον οποίο το Smartly μοντελοποιεί προϊόντα δεδομένων, συμβάσεις δημοσίευσης, εξέλιξη σχήματος, σταθερότητα πεδίου, σημασιολογία διαγραφής, πολιτική πρόσβασης, καταγωγή και απόδοση κόστους.

• Λειτουργία και βελτίωση του μοντέλου χρόνου εκτέλεσης CDC, συμπεριλαμβανομένων των φόρτων εργασίας Kubernetes, της απομόνωσης για συγκεκριμένη πηγή, των μετατοπίσεων, του ιστορικού σχήματος, των καρδιακών παλμών, των καναλιών σήματος, της ορατότητας καθυστερήσεων, της επανάληψης, της λήψης εκ νέου λήψης και της ανάκτησης.

• Ενσωματώστε μεταδεδομένα πλατφόρμας στο DataHub, ώστε οι μηχανικοί να μπορούν να ανακαλύψουν προϊόντα δεδομένων, να κατανοήσουν την ιδιοκτησία, να εντοπίσουν τη γενεαλογία και να αιτιολογήσουν τον αντίκτυπο των αλλαγών.

• Συνεργαστείτε με ομάδες προϊόντων, υποδομών, μηχανικής δεδομένων, αναλύσεων και AI/ML για να κάνετε την τυπική διαδρομή ευκολότερη και ασφαλέστερη από τις εξατομικευμένες ενσωματώσεις από σημείο σε σημείο.

Αυτό που ψάχνουμε

• Ισχυρή εμπειρία στην κατασκευή και λειτουργία συστημάτων λογισμικού παραγωγής, κατά προτίμηση σε περιβάλλοντα πλατφόρμας, υποδομής, backend ή σε περιβάλλοντα έντασης δεδομένων.

• Βαθιά κατανόηση των αντισταθμίσεων κατανεμημένων συστημάτων: αξιοπιστία, ανικανότητα, επανάληψη, ενδεχόμενη συνέπεια, όρια ιδιοκτησίας, συμβατότητα και τρόποι λειτουργικής αποτυχίας.

• Πρακτική εμπειρία με PostgreSQL ή άλλες σχεσιακές βάσεις δεδομένων, συμπεριλαμβανομένου του σχεδιασμού σχημάτων, των μετεγγραφών, των συναλλαγών, της αναπαραγωγής ή της λειτουργικής απόδοσης.

• Εμπειρία με Kafka, ροή συμβάντων, CDC, Debezium ή γειτονικές τεχνολογίες μετακίνησης δεδομένων. Η εμπειρία του Direct Debezium είναι πολύτιμη, αλλά τα ισχυρά θεμελιώδη στοιχεία έχουν μεγαλύτερη σημασία.

• Απολαύστε εμπειρία κατασκευής λογισμικού που χρησιμοποιούν άλλοι μηχανικοί: CLI, εσωτερικές πλατφόρμες, επίπεδα ελέγχου, αυτοματοποίηση, επικύρωση CI, εργαλεία προγραμματιστή ή ροές εργασίας αυτοεξυπηρέτησης.

• Εξοικείωση με το Kubernetes και τις πλατφόρμες cloud ή υποδομής, συμπεριλαμβανομένης της απομόνωσης χρόνου εκτέλεσης, της ανάπτυξης, της παρατηρησιμότητας και της λειτουργικής ιδιοκτησίας.

• Δυνατότητα μετατροπής διφορούμενης αρχιτεκτονικής κατεύθυνσης σε πρακτικές προσαυξήσεις, σαφείς συμβιβασμούς και παροχή χρήσιμων συστημάτων παραγωγής χωρίς να περιμένουμε την απόλυτη βεβαιότητα.

• Σαφής γραπτή και προφορική επικοινωνία στα Αγγλικά. Αυτός ο ρόλος περιλαμβάνει την ευθυγράμμιση πολλών ομάδων μηχανικών γύρω από πρότυπα, συμβόλαια και όρια ιδιοκτησίας.

Χρήσιμη εμπειρία, αλλά δεν απαιτείται

• DataHub ή άλλος κατάλογος δεδομένων, γενεαλογία ή συστήματα διακυβέρνησης.

• Ανοίξτε μορφές πινάκων όπως Apache Iceberg, λίμνες δεδομένων που υποστηρίζονται από αντικείμενο αποθήκευσης, S3, BigQuery, ClickHouse ή αναλυτικά συστήματα αποθήκευσης.

• Ενέργειες GitHub, πολιτική ως κώδικας, υποδομή ως κώδικας, ελεγκτές, χειριστές ή συστήματα που βασίζονται σε συμφωνία.

• Συμβάσεις δεδομένων, μητρώα σχημάτων, Σχήμα Protobuf, Avro, JSON, έλεγχος συμβατότητας, μεταδεδομένα σε επίπεδο πεδίου ή δοκιμή συμβάσεων.

• Απολαύστε την υποστήριξη αναλυτικών στοιχείων, AI/ML, μοτίβων πρόσβασης τύπου καταστήματος χαρακτηριστικών ή ενσωματώσεων προϊόντων-υπηρεσιών μεταξύ τομέων.

• Εμπειρία με γλώσσες JVM και Python, TypeScript, Go ή Ruby.

Αυτό που σας προσφέρουμε

Στο Smartly, προσφέρουμε ένα μέρος όπου μπορείτε να κάνετε ουσιαστική τεχνική εργασία ενώ εξελίσσεστε με μια παγκόσμια ομάδα.

• Περιεκτική παγκόσμια κουλτούρα που βασίζεται στην εμπιστοσύνη, τη διαφάνεια, την ανοιχτή ανατροφοδότηση και το σεβασμό για διαφορετικές προοπτικές.

• Παγκόσμια επίδραση μέσω της τεχνολογίας που χρησιμοποιείται από μεγάλες μάρκες για τον σχεδιασμό, τη δημιουργία, τη βελτιστοποίηση και την κατανόηση της ψηφιακής διαφήμισης σε κλίμακα.

• Υποστήριξη ευημερίας, αμειβόμενες διακοπές, οικογενειακή άδεια και βιώσιμοι τρόποι εργασίας.

• Επιλογές μετοχικού κεφαλαίου, ανταμοιβές βάσει απόδοσης, ανταγωνιστικές αποζημιώσεις και ευκαιρίες εξέλιξης σταδιοδρομίας.

• Ένας ευέλικτος υβριδικός χώρος εργασίας που εξισορροπεί τη συνεργασία γραφείου με την εστιασμένη εξ αποστάσεως εργασία. Στο Smartly δουλεύουμε 3 μέρες την εβδομάδα από το γραφείο.

Σχετικά με το Smartly

Η Smartly είναι μια εταιρεία τεχνολογίας διαφημίσεων που βοηθά τις επωνυμίες να δημιουργούν, να διαχειρίζονται, να βελτιστοποιούν και να κατανοούν την ψηφιακή διαφήμιση σε μεγάλες πλατφόρμες μέσων. Ο μηχανικός μας οργανισμός δημιουργεί τα συστήματα που συνδέουν δυνατότητες πολυμέσων, δημιουργικών και νοημοσύνης σε ένα προϊόν που χρησιμοποιείται από πελάτες παγκοσμίως.…

Πηγή: Arbeitnow (https://www.arbeitnow.com/jobs/companies/smartly/senior-data-platform-engineer-berlin-98232)