Ingénieur logiciel senior, données

Avant le détail, voici le défi que vous nous aideriez à résoudre.

Nous construisons l'intelligence embarquée qui déplace les vrais véhicules en toute sécurité, ainsi que l'écosystème sur lequel un milliard de machines fonctionneront à l'avenir. Très peu de personnes en IA peuvent en dire autant. Chaque rôle ici, quelle que soit l’équipe, s’y connecte.

Voici ce que couvre ce rôle particulier.
Le rôle
Portal est la plate-forme cloud qui connecte Wayve au monde extérieur : elle gère l'échange de données avec les partenaires, fait apparaître des informations sur l'IA et permet le déploiement commercial du pilote d'IA de Wayve sur des véhicules à travers le monde.
Nous recherchons un ingénieur logiciel senior, données pour aider à construire le centre de transfert de données de Wayve : une infrastructure essentielle à la mission qui pourra évoluer pour transférer des pétaoctets de données de capteurs par jour à partir de partenaires couvrant les véhicules du monde entier.
Il s’agit d’un projet crucial chez Wayve. Vous travaillerez au sein d'une petite équipe à haute autonomie créant un système d'échange de données en étoile distribué à l'échelle mondiale, en collaboration avec des partenaires comme Uber, Stellantis et Nissan. Votre travail contribuera à rendre la formation des modèles d’IA de Wayve possible à grande échelle.
Principales responsabilités :

• Construire et exploiter des pipelines de transfert de données à grande échelle pour les données vidéo, LiDAR et de capteurs provenant de partenaires mondiaux à une échelle allant jusqu'au PB/jour.

• Contribuer à la conception technique du Data Transfer Hub, en faisant des compromis pragmatiques entre l'UX, la fiabilité, le débit, le coût, les contraintes des partenaires, l'observabilité et le support opérationnel.

• Créez des pipelines de transfert de données distribués et parallélisés à l'aide de Flyte pour l'orchestration des flux de travail, de modèles Kafka/pilotés par les événements pour le suivi du cycle de vie et d'Azure pour l'infrastructure de stockage et de transfert.

• Aider à mettre en œuvre et à faire évoluer un modèle de transfert de données en étoile distribué à l'échelle mondiale pour récupérer et partager les données des capteurs à grande échelle avec les partenaires.

• Écrivez une infrastructure en tant que code dans Terraform et une logique de pipeline principalement en Python.

• Établir des bases opérationnelles fiables, y compris des stratégies de nouvelle tentative, des remplissages, des contrôles d'intégrité des données, un suivi du cycle de vie/de l'état, des tableaux de bord et des alertes.

• Travaillez sur des solutions de mise en réseau cloud-to-cloud et cross-cloud, avec Azure comme plate-forme cloud principale.

• Une fois établi, participez à une rotation de garde et de soutien en dehors des heures d'ouverture.

• Collaborer avec les équipes produit, commerciales et en contact avec les partenaires pour comprendre les contraintes et fournir des solutions qui résolvent les problèmes réels des clients et des partenaires.

• Travailler dans un environnement en évolution rapide où les exigences et les dates de livraison des partenaires évoluent, tout en maintenant des normes d'ingénierie élevées.

À propos de vous
Afin de vous préparer au succès en tant qu'ingénieur logiciel senior chez Wayve, nous recherchons les compétences et l'expérience suivantes.
Essentiel

• Expérience avérée dans la création et l'exploitation de pipelines de transfert, d'ingestion ou de traitement de données à grande échelle, idéalement à l'échelle de plusieurs To ou Po.

• Solides compétences en génie logiciel

• Expérience dans la livraison et la maintenance de systèmes de production

• Expérience avec l'orchestration de flux de travail pour les tâches parallélisées ; Flyte préféré, mais Airflow, Prefect ou des outils similaires sont également pertinents

• Expérience dans la création de systèmes de données fiables et observables, y compris les stratégies de nouvelle tentative, les remplissages, les contrôles d'intégrité des données, le suivi du cycle de vie/de l'état et les alertes opérationnelles.

• Solides compétences en matière de plateforme cloud, avec Azure de préférence ; une expérience avec AWS ou GCP est un plus

• Maîtrise de Python et Terraform

• Expérience du stockage blob/objet, du déplacement de fichiers à grande échelle, de la mise en réseau ou du transfert de données de cloud à cloud.

• Un état d'esprit produit : vous pensez au client et élaborez des solutions qui résolvent de vrais problèmes, et ne vous contentez pas de mettre en œuvre les exigences.

• Confort de travail dans un environnement en évolution rapide avec des exigences évolutives

• Un fort sentiment d'appartenance : vous assumez la responsabilité des résultats, communiquez clairement et aidez l'équipe à avancer rapidement.

Souhaitable

• Expérience de travail avec des partenaires de données externes ou des intégrations techniques orientées client

• Expérience dans les véhicules autonomes, la robotique, les données géospatiales, le traitement vidéo ou d'autres domaines gourmands en données.

• Expérience avec Kafka ou d'autres systèmes pilotés par événements pour l'observabilité des transferts et le suivi du cycle de vie.

• Expérience dans la création de tableaux de bord pour communiquer l'état des tâches de transfert

• Expérience multi-cloud sur Azure, AWS et/ou GCP

• Expérience dans l'amélioration de la rentabilité, du débit ou de la fiabilité des systèmes de données cloud à grande échelle

Il s'agit d'un poste à temps plein basé dans notre bureau de Londres. Chez Wayve, nous voulons le meilleur des mondes, c'est pourquoi nous appliquons une politique de travail hybride qui combine le temps passé ensemble dans nos bureaux et ateliers pour alimenter l'innovation, la culture, les relations et l'apprentissage, et le temps passé à travailler à domicile.
Une note rapide et honnête avant de postuler.
Wayve n’est pas un endroit mature et entièrement structuré avec un manuel déjà écrit. Une grande partie de notre façon de travailler est encore en cours d’écriture, et si vous nous rejoignez, vous contribuerez à sa rédaction. Cela convient davantage aux personnes qui souhaitent une véritable propriété qu’à celles qui ont besoin d’une structure établie dès le premier jour.

Si cela ressemble au genre de problème sur lequel vous souhaitez consacrer votre temps, nous aimerions vraiment avoir de vos nouvelles.

Chez Wayve, nous nous engageons à créer une culture diversifiée, juste et respectueuse qui inclut chacun en fonction de ses compétences et perspectives uniques, et quels que soient son sexe, sa race, sa religion ou ses convictions, son origine ethnique ou nationale, son handicap, son âge, sa citoyenneté, son statut matrimonial, domestique ou civil, son orientation sexuelle, son identité de genre, son statut d'ancien combattant, sa grossesse ou toute condition connexe (y compris l'allaitement) ou toute autre base protégée par la loi applicable.

Pour plus d’informations, visitez Carrières chez Wayve. Pour en savoir plus sur ce qui nous motive, visitez les valeurs chez Wayve…

Source : Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/wayve/senior-software-engineer-data-london-united-kingdom-13175)