Senior Data Engineer

Περίληψη Ρόλων
Αναζητούμε έναν Ανώτερο Μηχανικό Δεδομένων για την κατασκευή και τη διαχείριση της πλατφόρμας δεδομένων του STACK στο Databricks.
Ο ρόλος θα αναπτύξει αξιόπιστους αγωγούς δεδομένων από συστήματα Finance, Delivery, Operations, HR και PMO, θα διατηρήσει υψηλή ποιότητα δεδομένων και θα διασφαλίσει ότι οι πληροφορίες είναι ασφαλείς, ρυθμιζόμενες και διαθέσιμες για επιχειρηματική χρήση.
Ο επιτυχημένος υποψήφιος θα συνεργαστεί στενά με τα ενδιαφερόμενα μέρη για τη βελτίωση της υποβολής εκθέσεων, την επίλυση προβλημάτων δεδομένων και την υποστήριξη της καλύτερης λήψης αποφάσεων σε ολόκληρο τον οργανισμό.

Βασικές αρμοδιότητες:
· Σχεδιασμός, κατασκευή και συντήρηση αγωγών δεδομένων από API, βάσεις δεδομένων, εφαρμογές SaaS, αρχεία και υπολογιστικά φύλλα σε Databricks.
· Αναπτύξτε κλιμακούμενα μοντέλα δεδομένων και αρχιτεκτονική Delta Lake για αναφορές, αναλύσεις και μελλοντικές περιπτώσεις χρήσης τεχνητής νοημοσύνης.
· Διαχειριστείτε ροές εργασίας Databricks, πίνακες Lakeflow ή Delta Live, SQL Warehouses και σχετικές εργασίες επεξεργασίας.
· Διαχειριστείτε χώρους εργασίας Databricks, Unity Catalog, άδειες, αρχές υπηρεσιών.
· Υποστήριξη περιβαλλόντων ανάπτυξης, δοκιμής και παραγωγής, συμπεριλαμβανομένης της ανάπτυξης, της παρακολούθησης, της επίλυσης συμβάντων και της ανάκτησης.
· Παρακολούθηση της απόδοσης, της χρήσης και του κόστους της πλατφόρμας και εφαρμογή των κατάλληλων ελέγχων ασφάλειας και λειτουργίας.
· Εφαρμογή ποιοτικών ελέγχων δεδομένων που καλύπτουν την πληρότητα, την ακρίβεια, την επικαιρότητα, τη συνέπεια, τα αντίγραφα και τη συμφωνία με τα συστήματα πηγής.
· Βεβαιωθείτε ότι οι πίνακες εργαλείων χρησιμοποιούν ελεγχόμενα, αξιόπιστα και καλά τεκμηριωμένα δεδομένα.
· Καθιέρωση ιδιοκτησίας δεδομένων, κοινούς ορισμούς, καταγωγής, πολιτικών πρόσβασης και προτύπων διακυβέρνησης με επιχειρηματικές λειτουργίες.
· Δημιουργία παρακολούθησης και αναφοράς για τον εντοπισμό αστοχιών αγωγών και ζητημάτων ποιότητας δεδομένων.
· Ενσωμάτωση ελεγχόμενων δεδομένων Databricks με το Power BI και άλλα εγκεκριμένα αναλυτικά εργαλεία.
· Συνεργαστείτε με τα Finance, Delivery, Operations, HR και PMO για να μετατρέψετε τις απαιτήσεις σε βιώσιμες λύσεις δεδομένων.
· Τεκμηριώστε αγωγούς δεδομένων, ελέγχους, εξαρτήσεις και διαδικασίες λειτουργίας.
· Συντονίζει εξωτερικούς συνεργάτες όπου απαιτείται εξειδικευμένη υποστήριξη.

Προσόντα:
· Σημαντική εμπειρία ως Μηχανικός Δεδομένων, συμπεριλαμβανομένης της ιδιοκτησίας αγωγών δεδομένων παραγωγής.
· Ισχυρή πρακτική εμπειρία με Databricks, Delta Lake, Python, SQL και PySpark.
· Απολαύστε την ενσωμάτωση δεδομένων από API, επιχειρηματικές εφαρμογές, βάσεις δεδομένων και αρχεία.
· Εμπειρία με Unity Catalog, διαχείριση πρόσβασης, διαχείριση δεδομένων και ελέγχους ποιότητας δεδομένων.
· Εμπειρία διαχείρισης χώρων εργασίας Databricks, υπολογιστικών πόρων και αποθηκών SQL.
· Εμπειρία με τις υπηρεσίες δεδομένων Azure, τις πρακτικές Power BI, Git και CI/CD.
· Κατανόηση διαχείρισης περιβάλλοντος, παρακολούθησης, αντιμετώπισης προβλημάτων και ελέγχου κόστους.
· Ικανότητα άμεσης συνεργασίας με μη τεχνικά ενδιαφερόμενα μέρη και επεξήγησης με σαφήνεια ζητημάτων δεδομένων.
· Ισχυρές δεξιότητες τεκμηρίωσης, ιεράρχησης προτεραιοτήτων και επίλυσης προβλημάτων.

Πιστοποιήσεις (Προτιμώμενο)
· Databricks Certified Data Engineer Professional ή Databricks Certified Platform Administrator (εάν υπάρχει).
Βρείτε θέσεις εργασίας στο Ηνωμένο Βασίλειο στο Arbeitnow

Πηγή: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/stack-infrastructure-emea/senior-data-engineer-london-185810)