Dateningenieur

Eine Pipeline, die nachts bricht? Ich habe eine strukturelle Korrektur vorgenommen, keinen Workaround. Eine Frage, wie viel kostet Sie? Ich habe nur ein einziges Mal ein Missgeschick gemacht. Wir folgen Performance-Marketing-Mitarbeitern, die sich mit den Daten befassen: Elke Bieding, Elk Klantrapport und Elk AI-Model, das wir von den Pipelines abhängig gemacht haben, die die Daten aus aller Welt in unser Datawarehouse bringen.

Wir haben festgestellt, dass dies der Fall ist, und wir haben die Möglichkeit gehabt, in unsere Dateninfrastruktur zu investieren. Aus diesem Grund verlangen wir, dass wir Datenstrukturen benötigen, überwachen und kosteneffizienter arbeiten. Ich brauchte zwei Lagerhäuser und Pipelines und sorgte dafür, dass alles funktionierte. Ich denk an den Architekten und die meisten Kunden, die seit über zwei Jahren arbeiten, und auch die Werkzeuge wurden verändert. Tegelijk snap Ich muss sagen, dass eine Agentur schnell scheitern kann. Das Gleiche gilt für diese Rolle.

Was ist da zu tun?

• Ich habe gelernt, ETL- und ELT-Workflows zu verwenden, die den Kunden gerecht werden.

• Sie orkestrieren Datenströme über DAG-Plattformen. Wir haben jetzt Windmill kennengelernt und eine Migration zu einer Plattform durchgeführt, die unsere Stabilität verbessert. Ich habe einen zweiten Schritt gemacht.

• Ich nutze Python und TypeScript, um sie mit Transformationen zu verbinden.

• Ich bewaakt Qualität, Verfügbarkeit und Sicherheit. Es handelt sich um eine Pipeline, die eine Strukturkorrektur und keine zeitnahe Problemumgehung ermöglicht.

• Ich habe LLMs als einen großen Transformationsschritt in Pipelines, als Beispiel für die Opschonen, Kategorisierung oder Analyse von Massendaten.

• Sie müssen Kosten sparen: Sie optimieren Ihre BigQuery-Abfragen, nutzen überflüssige API-Aufrufe und werden mit der Token-Verwendung kombiniert.

Ein Stapel
BigQuery, Google Cloud Platform, Windmill, Python, TypeScript und PHP/Laravel für eine Haupt-App, GitHub mit CI/CD, und die APIs von OpenAI, Anthropic und Google Gemini. Für die Infrastrukturarbeit haben wir Terraform und Ansible, für Überwachung und Telemetrie mit Sentry, Slack Applications, Grafana, Loki und InfluxDB kennengelernt. Gibt es eine bessere Alternative? Dann hören wir das.

Das Team
Ich gehöre zu einem kleinen Ingenieurteam von zwei Ingenieuren, deren Mitglieder viel Glück hatten. Ich bin Berichterstatter rechtstreeks als Koordinator/Teamleiter, Sie müssen mit der Entscheidungsfindung beginnen und müssen Ihren Auftrag und Ihre Idee nicht im Auge behalten.

Wat je van ons mag verwachten

• Ein Gehalt ist angemessen, da ich über Fachwissen verfüge.

• 26 Tage Urlaub pro Jahr, mit einem Mindestaufenthalt von 5 Tagen.

• Ein einmaliges Hauswirtschaftsbudget von bis zu 1.000 €, um Ihr Hauswirtschaftsplek zu finanzieren.

• Eine gut geregelte Pension, keine eigene Unterkunft.

• Um Hybridarbeiten durchzuführen, maximal 3 Monate pro Jahr, um das Gebäude zu verlassen.

• Zugang zu BigQuery, GCP, DAG-Plattformen und den Beta-APIs der großen LLM-Anwender.

• Interne Kenntnisse und tiefe Einblicke in Datentechnik und KI.

Das ist mein Gott
Ich habe mindestens 2 bis 3 Jahre Erfahrung mit Data-Engineering in der Produktion gesammelt und habe über die erforderliche Architektur nachgedacht, ohne dass Verluste in Kauf genommen wurden. Verder:

Was wir wirklich nodig hebben

• Ich schreibe robusten, klaren Code in Python und TypeScript.

• Ich habe ETL- oder ELT-Workflows entwickelt und bin auf der Suche nach weiteren Lösungen.

• Ich habe viel in SQL und BigQuery gelernt: komplexe Abfragen, Fensterfunktionen und Datenmodellierung.

• Ich habe mit Minstens einer DAG-Plattform gearbeitet, darunter Windmill, Airflow, Dagster, Prefect, Inngest of Temporal.

• Ich versiebeheer und CI/CD für die Dateninfrastruktur.

• Ich habe vor 2 bis 3 Jahren mit der Google Cloud Platform gearbeitet und eine Woche vor der Tür gesorgt, bestelle und kaufe neue Optionen, um dies zu erreichen.

Mooi als je dit meebrengt

• Eine Google Cloud-Zertifizierung: mindestens Professional Data Engineer und Mitarbeiter auch Professional Cloud Architect. Für uns ist das kein Problem: Sie sehen, dass die Plattform wirklich wichtig ist und für unseren Google Cloud-Partnerschaftsstatus unerlässlich ist.

• Ervaring lernte LLMs in automatisierten Datenprozessen kennen.

• Erweitern Sie PHP von Laravel, um die Integration in unsere Haupt-App zu ermöglichen.

• Ervaring traf auf migrierende Orchesterplattformen.

• Für FinOps und Cloud-Kosten.

Ich glaube, ich bin der Größte hier, aber nicht alles? Solliciteer auch nicht.

Waarom Follo?
Als Nächstes betreten wir eine Landschaft, die sich verändert hat, und wir beginnen, mich zu betätigen. KI ist für uns kein Schlagwort, aber wir wissen nicht, wie wir arbeiten. Denken Sie an MCP-Verbindungen, automatisierte Arbeitsabläufe und LLMs als den größten Schritt in der Datenverarbeitung.

• Ich bin an die Infrastruktur des Büros gegangen, um dort zu arbeiten: Sie haben mit Ihren Pipelines begonnen und eine gute Beziehung aufgebaut.

• Sie sind auf Architektur und Tools angewiesen, einschließlich der Migration auf unsere Orchestrationplattform.

• KI ist in unserer DNA verankert: von FolloEngine zu LLMs größtem Schritt in der Produktionspipeline.

• Sterke merken sich einer echten Herausforderung, in einem Büro mit europäischen Ambitionen.

Warum hat es mit Follo geklappt?
Melden Sie sich dort direkt. Heb je nog vragen? Stellen Sie uns einen Personalvermittler per E-Mail zur Verfügung. Tot schnüffeln!
Finden Sie Jobs in den Niederlanden auf Arbeitnow

Quelle: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/follo/data-engineer-dongen-69238)