Senior Data Engineer

Μηχανικός Δεδομένων
Η Shiftbase κατασκευάζει τον βοηθό αυτόνομης οδήγησης για επιχειρήσεις με βάρδιες σε όλη την Ευρώπη. Οι πελάτες μας κυμαίνονται από ανεξάρτητα εστιατόρια στο Άμστερνταμ έως πωλητές λιανικής πολλαπλών τοποθεσιών στο Μόναχο και αφιερώνουν ώρες κάθε εβδομάδα σε προγραμματισμό, παρακολούθηση χρόνου, προετοιμασία μισθοδοσίας και διαχείριση ανθρώπινου δυναμικού. Θέλουμε να αφαιρέσουμε αυτή τη δουλειά από το πιάτο τους και τελικά να το κάνουμε για αυτούς.
Κάτω από αυτό το όραμα προϊόντος βρίσκεται μια πρόκληση δεδομένων. Το Insight, ο αυτοματισμός και η τεχνητή νοημοσύνη εξαρτώνται από δεδομένα που μπορούν να εμπιστευτούν οι άνθρωποι και η βάση για αυτό δεν υπάρχει ακόμα.

Θα χτίσετε το θεμέλιο που το διορθώνει.

Τι θα κάνεις

• Αρχιτέκτονα την αποθήκη. Σχεδιάστε και κατέχετε την αποθήκη μας BigQuery και Dataform από την αρχή. Φτιάξτε ένα πολυεπίπεδο, καλά διαμορφωμένο θεμέλιο, μενταγιόν που διασχίζει μάρκες, όχι μόνο τα μοντέλα που βρίσκονται στην κορυφή. Ρωτήστε κάθε μέρα εάν ολόκληρη η εταιρεία μπορεί να το εμπιστευτεί και να το επαναχρησιμοποιήσει.

• Κάντε τη ροή των δεδομένων με αξιοπιστία. Δημιουργήστε ELT και ETL με αυξητικά, ανεπαρκή φορτία, ενορχήστρωση και επαναλήψεις, ώστε οι αγωγοί να λειτουργούν στην ώρα τους χωρίς να τις παρακολουθεί κανείς. Αγωγοί που παρακολουθούνται από το πλοίο που αντέχουν στην παραγωγή.

• Πάρτε το επίπεδο μετασχηματισμού. Κατέχετε το επίπεδο δημιουργίας και μετασχηματισμού μοντέλων Dataform, αναλαμβάνοντας την πλήρη ευθύνη για το επίπεδο μετασχηματισμού και ελευθερώνοντας τη χωρητικότητα για σημασιολογική μοντελοποίηση και επιχειρηματικούς ορισμούς. Αυτό ξεμπλοκάρει όλη την ομάδα.

• Δημιουργήστε εμπιστοσύνη στα δεδομένα. Ορίστε την επικύρωση, την παρακολούθηση φρεσκάδας, την ειδοποίηση και τη γενεαλογία ως προεπιλογή. Διαγνώστε τις αποτυχίες στη βασική αιτία. Το leadscorev2 είναι το αποτέλεσμα που πρέπει να αποτρέψει αυτός ο ρόλος.

• Εξυπηρετεί όλη την παρέα. Τροφοδοτήστε καθαρά, ελεγχόμενα σύνολα δεδομένων στο Metabase, το HubSpot και το έργο ML και AI που κατέχει η ομάδα προϊόντων ML. Ωθήστε τα δεδομένα μοντελοποίησης πίσω στα εργαλεία στα οποία ενεργούν οι επιχειρηματικές ομάδες, συμπεριλαμβανομένων των HubSpot και Customer.io .

• Κάτοχος της χειραψίας της πλατφόρμας. Εκτελέστε την καθημερινή συνεργασία με την ομάδα της Πλατφόρμας στο ίδρυμά μας GCP, μια γέφυρα που τραβάει την προσοχή μόνο μερικής απασχόλησης σήμερα.

• Αντιμετωπίστε την αποθήκη σαν προϊόν. Διατηρήστε την τεκμηρίωση, τη γενεαλογία και την ανιχνευσιμότητα, έτσι ώστε τα τμήματα να εμπιστεύονται τα στοιχεία δεδομένων και να χειρίζονται ευαίσθητα δεδομένα ανθρώπινου δυναμικού και εργατικού δυναμικού σύμφωνα με τα πρότυπα GDPR.

Πώς φαίνεται η επιτυχία στους πρώτους 3-6 μήνες σας

• Η αποθήκη έχει πραγματική βάση. Το πρώτο κάθετο κομμάτι, το μοντέλο των λογαριασμών μας, αποστέλλεται με δοκιμές και παρακολούθηση.

• Διαθέτετε πλήρως το επίπεδο μετασχηματισμού Dataform, δημιουργώντας ικανότητα για σημασιολογική μοντελοποίηση και εργασία ορισμού επιχείρησης

• Οι αγωγοί λειτουργούν με βάση ένα καθορισμένο SLA φρεσκάδας και προλαβαίνετε διακοπές πριν το κάνουν οι ενδιαφερόμενοι.

• Η τεκμηρίωση και η γενεαλογία καλύπτουν ό,τι κατέχετε και τα σύνολα δεδομένων που είχαν κολλήσει ρέουν τώρα στις ομάδες που τα χρειάζονται.

•

Αυτό που ψάχνουμε

Έχετε φτιάξει μόνοι σας θεμέλια αποθήκης. Τα σχεδιάσατε αντί να διατηρήσετε κάποιο άλλο, με ιστορικό σε:

• Σχεδιασμός πολυεπίπεδων αρχιτεκτονικών αποθηκών (μενταγιόν, μπρούτζος-ασημί-χρυσός) και μοντέλων διαστάσεων (αστέρι και νιφάδα χιονιού) που επαναχρησιμοποιούν οι ομάδες

• Προηγμένη SQL ως η καθημερινή σας γλώσσα εργασίας

• Hands-on BigQuery, αφού η στοίβα μας είναι GCP

• Δημιουργία επιπέδου μετασχηματισμού SQL σε Dataform ή ισχυρή εμπειρία dbt.

• ELT και ETL με αυξητικά, αδύναμα φορτία και πραγματική ενορχήστρωση, προγραμματισμό και διαχείριση εξαρτήσεων

• Ποιότητα δεδομένων, δοκιμές, παρακολούθηση φρεσκάδας και γενεαλογία ενσωματωμένα από την αρχή

• Python για κώδικα διοχέτευσης, δέσμες ενεργειών, αυτοματισμό και ενσωμάτωση API

• Αναθεωρήσιμη, επαναλαμβανόμενη αλλαγή μέσω Git και ανάπτυξης που βασίζεται σε PR

Ωραίο να έχετε, δεν απαιτείται: άλλη μια σύγχρονη αποθήκη cloud, όπως το Snowflake ή το Redshift. διαχειριζόμενη απορρόφηση, όπως η Airbyte. προετοιμασία δεδομένων για περιπτώσεις ML, LLM και αντιπροσωπευτικής χρήσης. και εξοικείωση με μετρήσεις B2B SaaS και δεδομένα ανθρώπινου δυναμικού ή εργατικού δυναμικού. Τα αγγλικά είναι η γλώσσα εργασίας μας και τα ολλανδικά δεν απαιτούνται.

Αυτός ο ρόλος δεν είναι μηχανική υποδομής, ML ή MLOps ή ανάλυση πίνακα εργαλείων. Η ομάδα της πλατφόρμας κατέχει την υποδομή, η ομάδα Product ML κατέχει την ML και οι επιχειρηματικές ομάδες διαθέτουν πίνακες εργαλείων. Επίσης, δεν είναι για κάποιον που έχει διατηρήσει μόνο μια αποθήκη που έχει σχεδιάσει άλλο άτομο. Χτίζετε σωστά τα θεμέλια, παραμένετε διαφανείς σχετικά με την ποιότητα των δεδομένων και τις ανταλλαγές και αντιμετωπίζετε την αποθήκη ως προϊόν για ολόκληρη την εταιρεία. Θα αναφέρεστε στον Επικεφαλής Λειτουργιών και θα συνεργάζεστε στενά με την ομάδα της Πλατφόρμας σχετικά με την αρχιτεκτονική δεδομένων της εταιρείας.
Βρείτε περισσότερες αγγλόφωνες θέσεις εργασίας στην Ολλανδία στο Arbeitnow

Πηγή: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/shiftbase-bv/senior-data-engineer-zoetermeer-196651)