Ανώτερος Μηχανικός Δεδομένων Databricks

Περίληψη Ρόλων
Αναζητούμε έναν Ανώτερο Μηχανικό Δεδομένων Databricks με αποδεδειγμένη πρακτική εμπειρία στο Databricks για την κατασκευή, ανάπτυξη και διαχείριση της πλατφόρμας εταιρικών δεδομένων της STACK. Αυτός είναι ένας μηχανικός ρόλος που εστιάζει στην παραγωγή και απαιτεί πρακτική εξειδίκευση στα Databricks, PySpark, Python, SQL και Delta Lake.
Ο ρόλος θα σχεδιάσει αξιόπιστους αγωγούς που θα ενσωματώνουν συστήματα Finance, Delivery, Operations, HR και PMO, θα δημιουργήσει ελεγχόμενα και υψηλής ποιότητας σύνολα δεδομένων και θα υποστηρίζει ασφαλή, κλιμακούμενα αναλυτικά στοιχεία και αναφορές. Σε συνεργασία με τεχνικούς και επιχειρηματικούς φορείς, ο επιτυχημένος υποψήφιος θα αποκτήσει την κυριότητα των λύσεων μηχανικής δεδομένων και θα συμβάλει στη βελτίωση της αξιοπιστίας και της απόδοσης της πλατφόρμας.

Βασικές αρμοδιότητες:
· Σχεδιασμός, ανάπτυξη, ανάπτυξη και συντήρηση αγωγών ETL/ELT ποιότητας παραγωγής χρησιμοποιώντας Databricks, PySpark, Python και SQL, ενσωματώνοντας API, βάσεις δεδομένων, εφαρμογές SaaS, αρχεία και υπολογιστικά φύλλα.
· Αναπτύξτε και βελτιστοποιήστε κλιμακούμενα μοντέλα δεδομένων Delta Lake και αρχιτεκτονική lakehouse για αναφορές, αναλύσεις και μελλοντικές περιπτώσεις χρήσης τεχνητής νοημοσύνης.
· Δημιουργία, προγραμματισμός, παρακολούθηση και αντιμετώπιση προβλημάτων εργασιών επεξεργασίας δεδομένων χρησιμοποιώντας Databricks Workflows, Lakeflow ή Delta Live Tables, ανάλογα με την περίπτωση.
· Εφαρμόστε τη διακυβέρνηση του Καταλόγου Unity, συμπεριλαμβανομένων των δικαιωμάτων πρόσβασης, της ιδιοκτησίας δεδομένων, της καταγωγής και των κοινών ορισμών δεδομένων.
· Υποστήριξη χώρων εργασίας Databricks, υπολογιστικούς πόρους, αποθήκες SQL, αρχές υπηρεσιών και διαχείριση πρόσβασης σε συνεργασία με σχετικές ομάδες τεχνολογίας.
· Διαχειριστείτε την ανάπτυξη, τη δοκιμή και την ανάπτυξη αναπτύξεων παραγωγής, την παρακολούθηση, την επίλυση και την ανάκτηση περιστατικών, χρησιμοποιώντας πρακτικές Git και CI/CD.
· Βελτιστοποιήστε την απόδοση του αγωγού, την επεξεργασία Spark, τον υπολογισμό της χρήσης και το κόστος της πλατφόρμας, διατηρώντας παράλληλα τους κατάλληλους ελέγχους ασφάλειας και λειτουργίας.
· Εφαρμογή ελέγχων ποιότητας δεδομένων για πληρότητα, ακρίβεια, επικαιρότητα, συνέπεια, διπλότυπα και συμφωνία με τα συστήματα πηγής.
· Δημιουργία παρακολούθησης και ειδοποίησης για τον εντοπισμό αστοχιών αγωγών, ζητημάτων ποιότητας δεδομένων και λειτουργικών κινδύνων.
· Ενσωματώστε αξιόπιστα, ελεγχόμενα σύνολα δεδομένων Databricks με το Power BI και άλλα εγκεκριμένα αναλυτικά εργαλεία.
· Συνεργαστείτε με ομάδες Finance, Delivery, Operations, HR και PMO για να μετατρέψετε τις απαιτήσεις σε βιώσιμες λύσεις δεδομένων.
· Τεκμηριώστε τις αγωγές, τις εξαρτήσεις, τους ελέγχους και τις διαδικασίες λειτουργίας και συντονίστε ειδικούς εξωτερικούς συνεργάτες όταν απαιτείται.

Προσόντα:
· Ισχυρή πρακτική εμπειρία στη δημιουργία και υποστήριξη αγωγών δεδομένων παραγωγής απευθείας στα Databricks. Η εμπειρία με άλλες πλατφόρμες δεδομένων cloud δεν αρκεί από μόνη της.
· Πρακτική εμπειρία με PySpark, Python, SQL και Delta Lake, συμπεριλαμβανομένης της μετατροπής δεδομένων και της βελτιστοποίησης απόδοσης.
· Απολαύστε την ενορχήστρωση και την αντιμετώπιση προβλημάτων σωλήνων δεδομένων Databricks χρησιμοποιώντας ροές εργασίας, Delta Live Tables ή Lakeflow.
· Γνώση εργασίας Unity Catalog, διαχείριση δεδομένων, έλεγχοι πρόσβασης και πρακτικές ποιότητας δεδομένων (Essential).
· Απολαύστε την ενοποίηση δεδομένων από API, επιχειρηματικές εφαρμογές, βάσεις δεδομένων και αρχεία.
· Εμπειρία υποστήριξης χώρων εργασίας Databricks, υπολογιστικών πόρων ή αποθηκών SQL σε περιβάλλον παραγωγής.
· Εμπειρία με τις υπηρεσίες δεδομένων Azure, τις πρακτικές Power BI, Git και CI/CD.
· Κατανόηση διαχείρισης περιβάλλοντος, παρακολούθησης, αντιμετώπισης προβλημάτων, ασφάλειας και ελέγχου κόστους.
· Ικανότητα συνεργασίας με μη τεχνικά ενδιαφερόμενα μέρη, εξηγήσεις με σαφήνεια ζητημάτων δεδομένων και τεκμηρίωση αποτελεσματικών λύσεων.
· Ισχυρή ιδιοκτησία, ιεράρχηση προτεραιοτήτων και δεξιότητες επίλυσης προβλημάτων.

Πιστοποιήσεις (Προτιμώμενο)
· Databricks Certified Data Engineer Professional ή Databricks Certified Platform Administrator (εάν υπάρχει).
Βρείτε περισσότερες αγγλόφωνες θέσεις εργασίας στο Ηνωμένο Βασίλειο στο Arbeitnow

Πηγή: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/stack-infrastructure-emea/senior-databricks-data-engineer-london-455331)