Επιστήμονας Δεδομένων

Θέλετε να μάθετε πώς πραγματικά μετράτε εάν ένα σύστημα AI κάνει καλή δουλειά και, στη συνέχεια, να το βελτιώσετε; Αναζητούμε έναν ευκρινή, αναλυτικό επιστήμονα δεδομένων για να κατέχει την αξιολόγηση και την ποιότητα του προϊόντος μας AutoQA. Μπορείτε να είστε νωρίς στην καριέρα σας (πρόσφατοι πτυχιούχοι με ισχυρές βασικές αρχές LLM είναι ευπρόσδεκτοι), έχουμε χώρο και μια σαφή πορεία για να αναπτυχθείτε.

Με λίγα λόγια

• Εγγραφείτε σε μια ταχέως αναπτυσσόμενη εταιρεία SaaS σε ένα διεθνές περιβάλλον (εγγυημένη καμπύλη εκμάθησης απότομη).

• Διαθέτετε ένα πρόβλημα μεγάλου αντίκτυπου: να κάνετε τη διασφάλιση ποιότητας που βασίζεται σε LLM με μετρήσιμη ακρίβεια σε κλίμακα.

• Καθίστε στη διασταύρωση AI και CX, συνεργαζόμενοι απευθείας με εταιρικούς πελάτες και τις πραγματικές ρουμπρίκες QA τους.

• Μεγαλώστε σε ρόλο Ανώτερου Επιστήμονα Δεδομένων, Μηχανικού AI ή Μηχανικού ML. Επενδύουμε στην πρόοδο.

• Απολαύστε τα προνόμια: ευέλικτο ωράριο, ανοιχτή πολιτική διακοπών, γραφείο στην καρδιά του Άμστερνταμ με υβριδική ευελιξία, χορηγία βίζας, εξαιρετικό εξοπλισμό, εργασίες και ομαδικές εκδηλώσεις.

Σχετικά με το Kaizo
Στην Kaizo, χτίζουμε μια πλατφόρμα ανάπτυξης απόδοσης και ποιότητας για ομάδες υποστήριξης πελατών. Το προϊόν μας AutoQA χρησιμοποιεί LLM για να ελέγχει τις συνομιλίες υποστήριξης σε σχέση με τη ρουμπρίκα ποιότητας κάθε πελάτη, αυτόματα και σε κλίμακα. Πίσω του βρίσκεται μια πλατφόρμα επεξεργασίας ροής που βασίζεται σε μικροϋπηρεσίες που χειρίζεται πάνω από 200 εκατομμύρια συμβάντα την ημέρα (Kafka, Kubernetes στο Google Cloud, ElasticSearch, MongoDB, BigQuery) και μια στοίβα LLMOps που δημιουργήθηκε γύρω από τον LangSmith για πειραματισμό, άμεση διαχείριση και ανίχνευση.
Το δύσκολο μέρος δεν είναι να καλέσετε ένα LLM. Γνωρίζει, με στοιχεία, πόσο καλά αποδίδει το σύστημα στη μοναδική ρουμπρίκα κάθε πελάτη και διαθέτει έναν αξιόπιστο, επαναλαμβανόμενο τρόπο βελτίωσης. Εκεί μπαίνεις.

Σε τι θα εστιάσετε

• Μεταφράστε τις ρουμπρίκες πελατών σε οδηγίες AutoQA. Εργαστείτε με πραγματικά κριτήρια ποιότητας πελατών και μετατρέψτε τα σε ακριβείς, ελεγχόμενες οδηγίες που οι LLM μπορούν να βαθμολογήσουν αξιόπιστα.

• Εκτελέστε πειράματα που κινούν την ακρίβεια. Σχεδιάστε και εκτελέστε πειράματα αξιολόγησης σε μεγάλα, αντιπροσωπευτικά σύνολα δεδομένων χρησιμοποιώντας LangSmith και BigQuery και παρακολουθήστε την ποιότητα με τις μετρήσεις απόδοσης.

• Δημιουργήστε τα σύνολα δεδομένων που καθιστούν δυνατή την αξιολόγηση. Επιμεληθείτε τα ακατέργαστα δεδομένα παραγωγής σε χρυσά σύνολα δεδομένων με ισορροπημένη κάλυψη και δημιουργήστε συνθετικά δεδομένα για να καλύψετε τις σπάνιες περιπτώσεις που έχουν μεγαλύτερη σημασία. Το QA είναι ένας κλάδος σπάνιων περιστατικών: οι διανομές είναι λοξές, οι θετικές είναι σπάνιες και η επινοητικότητα ξεπερνά τον όγκο.

• Δημιουργήστε αγωγούς LLM-as-a-judge για να αξιολογήσετε την ποιότητα του συστήματος εσωτερικά και να κάνετε την αξιολόγηση επαναλήψιμη.

• Κάντε τα αποτελέσματα να λειτουργούν. Τα πειράματά σας θα πρέπει να καταλήγουν σε μια απόφαση: αλλάξτε μια προτροπή, προσαρμόστε τα εργαλεία που χρησιμοποιεί το σύστημα, επιφανειακά το πλαίσιο που λείπει από το AI ή επισημάνετε όπου χρειάζονται νέες δυνατότητες. Θα συνεργαστείτε με την ομάδα AI για να στείλετε αυτές τις αποφάσεις.

• Αξιολόγηση σε ολόκληρη τη στοίβα. Πέρα από την ποιότητα βαθμολόγησης, θα βοηθήσετε στην επικύρωση της ανάκτησης (RAG/IR), της κλήσης εργαλείων και των γραμμών ομιλίας (ποιότητα μεταγραφής και διάκρισης).

• Συμμετάσχετε στις κλήσεις πελατών με την ομάδα για να κατανοήσετε πώς ορίζουν οι ηγέτες QA την ποιότητα και να τροφοδοτήσετε ό,τι μαθαίνετε στο προϊόν.

Σε αυτό που θα μεγαλώσεις

• Διαμόρφωση του τρόπου με τον οποίο οι πελάτες παρακολουθούν οι ίδιοι την ποιότητα, αντιλαμβάνονται τις αλλαγές και βελτιώνουν τη ρύθμιση του AutoQA με την πάροδο του χρόνου.

• Εξυπνότερη κατηγοριοποίηση και δρομολόγηση συνομιλιών σε ισχυρά αναλυτικά στοιχεία και λάβετε τα σωστά εισιτήρια για τη σωστή αξιολόγηση.

• Στέρεη κατανόηση του τρόπου λειτουργίας των LLM και πρακτική εμπειρία που τους παρακινεί για ακρίβεια (τα μαθήματα, οι διατριβές, οι πρακτικές ή τα παράπλευρα έργα μετρούν όλα, η εμπειρία παραγωγής είναι ένα μπόνους).

• Καλά εφαρμοσμένα στατιστικά στοιχεία: σχεδιασμός πειράματος, αξιολόγηση ταξινομητή, ανταλλαγές ακριβείας/ανάκλησης και εργασία με πολύ ανισόρροπα δεδομένα.

• Ισχυρές δεξιότητες Python και ευχέρεια με την τυπική εργαλειοθήκη δεδομένων (Pandas, NumPy, Jupyter). Η SQL είναι ένα συν.

• Μια αναλυτική νοοτροπία, με βάση τα στοιχεία: προτιμάτε να μετράτε παρά να υποθέτετε.

• Αίσθηση προϊόντος και ενσυναίσθηση για τους τελικούς χρήστες. Θα χτίσετε για διαχειριστές QA και αντιπροσώπους υποστήριξης, όχι μόνο για σημεία αναφοράς.

• Άριστη γραπτή και προφορική επικοινωνία. Θα παρουσιάσετε ευρήματα στην ομάδα και θα συμμετάσχετε στις συνομιλίες πελατών.

• 0 έως 2 χρόνια εμπειρία στον κλάδο. Οι πρόσφατοι πτυχιούχοι με ισχυρή σχετική εργασία ενθαρρύνονται να υποβάλουν αίτηση.

• Ένας ομαδικός παίκτης που νιώθει άνετα να φοράει πολλά καπέλα. Είμαστε μια εταιρεία σε αρχικό στάδιο και τα πράγματα προχωρούν γρήγορα.

Μπόνους πόντους για:

• Εμπειρία με LangSmith ή παρόμοια LLMOps/εργαλεία αξιολόγησης

• Google Cloud Platform, BigQuery, Docker ή Kubernetes

• Επεξεργασία ομιλίας/ήχου ή αξιολόγηση ASR

• Βελτιστοποίηση ή δημιουργία συνθετικών συνόλων δεδομένων για LLM

Με ποιους θα συνεργαστείς

Θα γίνετε μέλος της ομάδας μας AI (δύο επιστήμονες δεδομένων, ένας μηχανικός AI και ένας μηχανικός ML) και θα συνεργαστείτε στενά με τους μηχανικούς δεδομένων, τους μηχανικούς frontend, τους σχεδιαστές, τους υπεύθυνους προϊόντων και τις ομάδες CX. Θα έχετε καθοδήγηση από την πρώτη μέρα και πραγματική ιδιοκτησία γρήγορα.

Τι είναι αυτό για εσάς;

• Ένα γραφείο στην καρδιά του Άμστερνταμ, με την ευελιξία της υβριδικής εργασίας

• Διατίθεται χορηγία βίζας για επιλέξιμους υποψηφίους

• Εξαιρετικός εξοπλισμός γραφείου: MacBook, εργαλεία, γραφείο, καρέκλα, ό,τι χρειάζεστε

• Ευέλικτο πρόγραμμα εργασίας και ανοιχτή πολιτική διακοπών

• Διασκεδαστικές εργασίες και ομαδικές εκδηλώσεις

• Μια ξεκάθαρη πορεία ανάπτυξης σε ρόλους Senior Data Scientist, AI Engineer ή ML Engineer

Βρείτε περισσότερες αγγλόφωνες θέσεις εργασίας στην Ολλανδία στο Arbeitnow

Πηγή: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/kaizo/data-scientist-amsterdam-342593)