Senior Data Engineer

Τι θα κάνετε

• Δημιουργία και συντήρηση σωλήνων δεδομένων παρτίδας και ροής.

• Μεταφέρετε τα δεδομένα παραγωγής σε αρχείο αποθήκευσης/λίμνη δεδομένων με ασφάλεια και παρατηρητικότητα.

• Βελτίωση της ποιότητας, της αξιοπιστίας και της παρατηρησιμότητας των παραγόμενων συνόλων δεδομένων.

• Επικυρώσεις σχεδίασης για φρεσκάδα, πληρότητα, ορθότητα σχήματος και ποιότητα δεδομένων.

• Δημιουργήστε επαναχρησιμοποιήσιμα σύνολα δεδομένων που μειώνουν την εφάπαξ εργασία εξαγωγής και συγκέντρωσης δεδομένων.

• Βελτιστοποιήστε τα ερωτήματα και τις εργασίες επεξεργασίας δεδομένων για ορθότητα, καθυστέρηση και κόστος.

• Δημιουργήστε πρωτότυπα με τα σωστά εργαλεία και, στη συνέχεια, ενσωματώστε πειράματα παραγωγής εύρους με συστήματα amo όπου χρειάζεται.

Πρέπει να έχει

• Πείρα ανώτερου επιπέδου στην κατασκευή και λειτουργία αγωγών δεδομένων.

• Ισχυρή Python και SQL.

• Εμπειρία παραγωγής με Python ή Scala.

• Εμπειρία με PySpark, Spark SQL, Spark Streaming, Parquet και Iceberg.

• Ισχυρή κατανόηση της επεξεργασίας κατά παρτίδες και ροής.

• Εμπειρία βελτιστοποίησης ερωτημάτων.

• Εξοικείωση με τα εσωτερικά μηχανών δεδομένων και τα κατανεμημένα συστήματα δεδομένων.

• Εμπειρία με λίμνες δεδομένων, μορφές πινάκων/αποθήκευσης και παράγωγα σύνολα δεδομένων.

Ωραίο να έχεις

• Εμπειρία με Flink ή παρόμοια συστήματα επεξεργασίας ροής.

• Εμπειρία με εκπαίδευση ML ή αγωγούς συμπερασμάτων.

• Εξοικείωση με την κατάταξη, τις συστάσεις, τις ενσωματώσεις ή την ανάλυση οντοτήτων.

• Εμπειρία με συστήματα δεδομένων ευαίσθητα στο απόρρητο, ροές εργασιών GDPR ή αγωγούς διαγραφής/εξαγωγής δεδομένων.

• Απολαύστε την ανάγνωση ή την πραγματοποίηση αλλαγών εύρους σε συστήματα που υποστηρίζονται από Rust.

Ζωή αυθόρμητη

Για να διασφαλίσουμε ότι όλοι είναι προετοιμασμένοι για επιτυχία στον τρόπο εργασίας μας, εργαζόμαστε μαζί επιτόπου 5 ημέρες την εβδομάδα.
Θέλαμε να βεβαιωθούμε ότι η επίσκεψη στο γραφείο είναι όσο το δυνατόν πιο άνετη για εσάς:

• Επιλέξαμε τοποθεσία στο κέντρο του Παρισιού, κοντά στην Όπερα (γραμμές μετρό 3,8,9 και RER A).

• Έχουμε ένα όμορφο παριζιάνικο γραφείο με ψηλά ταβάνια, μπαλκόνια και τεράστια παράθυρα. Άρα πολύ φυσικό φως!

Επειδή η ζωή εκτός εργασίας πρέπει επίσης να είναι χωρίς άγχος, καλύπτουμε:

• Υγειονομική περίθαλψη (κάλυψη 100%).

• Άδεια Μητρότητας, Άδεια Πατρότητας, Άδεια Β' Γονέα (ο μισθός διατηρείται στο 100%).

• Ημέρες διακοπών: 8-9 εβδομάδες (σύνολο) το χρόνο - (Ευρωπαϊκό καλοκαίρι; 🥹😎).

• 5 εβδομάδες άδειας μετ' αποδοχών (από το κράτος).

• 1-2 επιπλέον εβδομάδες (RTT, βάσει της εταιρικής μας σύμβασης).

• ~11 αργίες.
Κλείνουμε εντελώς δύο φορές το χρόνο, δύο εβδομάδες το καλοκαίρι και μία εβδομάδα το χειμώνα για να επιτρέψουμε σε όλους να επαναφορτιστούν πραγματικά και να αποφύγουμε παρατεταμένες επιβραδύνσεις (ειδικά το καλοκαίρι). Αυτές οι παύσεις αποτελούν μέρος του συνολικού χρόνου των διακοπών σας, δίνοντας σε όλους μια πραγματική ευκαιρία να αποσυνδέσουν και να επαναφορτιστούν. Χωρίς Slack, χωρίς email, χωρίς FOMO.

Βρείτε θέσεις εργασίας στη Γαλλία στο Arbeitnow

Πηγή: Arbeitnow (https://www.arbeitnow.fr/jobs/companies/amo/senior-data-engineer-paris-371160)