Ingénieur logiciel senior, services de données et de plateforme

Emplacement : Berlin, Allemagne Statut à distance : Entièrement distant (#LI-Remote)

LivePerson (NASDAQ : LPSN) est un leader de l'IA conversationnelle et de la transformation numérique d'entreprise de confiance. Les plus grandes marques mondiales utilisent notre plateforme Conversational Cloud primée pour se connecter avec des millions de consommateurs. Nous alimentons près d'un milliard d'interactions conversationnelles chaque mois, en fournissant des outils d'analyse de données et de sécurité d'une richesse unique pour libérer la puissance de l'IA conversationnelle pour de meilleurs résultats commerciaux. Fast Company a nommé LivePerson la société d'IA la plus innovante au monde.

Aperçu du poste

Nous recherchons un ingénieur logiciel senior pour rejoindre notre équipe de plateforme de données distribuée à l'échelle mondiale en Europe et jouer un rôle clé dans l'élaboration de l'avenir de notre écosystème de données.

Dans ce rôle de contributeur individuel à fort impact, vous dirigerez la modernisation de notre plate-forme de données principale en migrant les pipelines de données critiques des environnements Hadoop, Spark et Impala existants vers une architecture Databricks évolutive et native du cloud. Vous aurez l'opportunité de prendre des décisions techniques, d'influencer l'architecture de la plateforme et de jeter les bases qui alimentent les données dans l'ensemble de l'entreprise.

Si vous êtes un ingénieur de terrain qui aime résoudre des défis techniques complexes, créer des plates-formes de données modernes et avoir un impact durable à grande échelle, nous serions ravis d'avoir de vos nouvelles !

Vous le ferez : principales responsabilités et impact

•
Dirigez la modernisation de notre plate-forme de données : prenez en charge la migration des pipelines de données critiques depuis les anciens environnements Hadoop, Spark et Impala vers un écosystème Databricks moderne et évolutif. Vous réarchitecturerez les flux de travail ETL, convertirez du SQL complexe et migrerez en toute transparence les intégrations, les connexions et les secrets.

•
Accélérez le développement grâce à l'ingénierie basée sur l'IA : tirez parti des assistants de codage IA de pointe tels que Claude et Codex pour accélérer considérablement les efforts de migration. Plutôt que de réécrire manuellement le code existant, vous guiderez les outils d'IA pour convertir SQL, moderniser les scripts ETL, démêler les dépendances et générer un code propre et maintenable, tout en appliquant votre expertise en ingénierie pour valider l'architecture, les performances et la qualité.

•
Créez la nouvelle génération de pipelines de données : concevez, développez et optimisez des flux de données évolutifs à l'aide d'Airflow et de Databricks. Vous créerez des pipelines résilients et performants, fiables, rentables et conçus pour répondre aux besoins croissants de l'entreprise.

•
Champion de la qualité des données : assurez l'exactitude et la cohérence des données migrées en mettant en œuvre des stratégies complètes de validation et de test. Vous jouerez un rôle essentiel dans le maintien de l’intégrité des données tout au long du parcours de migration.

•
Améliorez la fiabilité de la plate-forme : contribuez à l'excellence opérationnelle en améliorant les pratiques d'observabilité, de surveillance et de réponse aux incidents. Contribuer à la fiabilité du service via les SLO/SLA et participer à une rotation de garde évolutive pour prendre en charge les systèmes de production.

•
Obtenez un impact commercial significatif : appliquez votre compréhension de l'analyse des centres de contact pour créer des plates-formes qui alimentent les informations sur les conversations clients, les rapports et la business intelligence. Vous adopterez un état d'esprit axé sur les données, en concevant des systèmes mesurables, observables et en amélioration continue.

Vous avez : Compétences et qualifications requises

•
Expérience approfondie en génie logiciel : 6 à 8 années d'expérience dans la création et le support de systèmes distribués et de plates-formes de données à grande échelle, avec une capacité avérée à s'approprier des initiatives techniques complexes, de la conception à la production.

•
Expérience éprouvée en modernisation de plate-forme : expérience pratique dans la direction ou dans le rôle clé dans la migration des plates-formes de données d'entreprise depuis des technologies héritées, telles que Hadoop, Spark, Hive ou Impala, vers des solutions cloud modernes telles que Databricks.

•
Expertise approfondie de Databricks : solide connaissance de l'écosystème Databricks, y compris les tâches, Delta Lake, la configuration et l'optimisation des clusters, ainsi que la migration de charges de travail SQL complexes d'Impala ou Hive vers Spark SQL.

•
Compétences en pipeline de données et en orchestration : compétences avancées en programmation Python pour le développement ETL et vaste expérience dans la conception, la création, le débogage et l'optimisation de pipelines de données de production et de flux de travail d'orchestration à l'aide d'Airflow et de Databricks.

•
Connaissance du cloud et de l'infrastructure : expérience de travail avec des plates-formes de données cloud natives, en particulier Google Cloud Platform (GCP) et Google Cloud Storage (GCS), avec une compréhension des architectures de microservices conteneurisés basées sur Kubernetes (GKE).

• Expertise en matière de plateforme de données moderne :

•
Bonne compréhension des architectures de traitement de données distribuées et des compromis entre le traitement des données en temps réel et par lots.

•
Expérience pratique des technologies Big Data existantes, notamment Hadoop et MapReduce, avec la capacité de moderniser et de migrer des écosystèmes de données complexes.

•
Connaissance des modèles d'intégration de données, y compris les API, les connecteurs, les webhooks et les architectures basées sur les événements.

• Ingénierie Cloud et Plateforme :

•
Expérience dans la création, le déploiement et la gestion de plates-formes de données cloud natives, avec une expérience Google Cloud Platform (GCP) préférable.

•
Familiarité avec les environnements conteneurisés et l'exécution de charges de travail de données sur Kubernetes.

•
Une forte concentration sur la création de plates-formes hautement fiables, évolutives et observables, avec une expérience dans la mise en œuvre de contrôles de surveillance, de validation et de qualité des données pour garantir des migrations réussies.

• Développement de logiciels assisté par IA :

•
Expérience de l'utilisation d'outils de développement basés sur l'IA tels que Claude, Codex ou des assistants de codage similaires pour accélérer le développement de logiciels, la modernisation du code et les migrations de plates-formes.

•
Compétent pour inciter, réviser et valider efficacement le code généré par l'IA tout en garantissant l'intégrité architecturale, la maintenabilité et la préparation à la production.

• Collaboration et communication :

•
Excellentes compétences en communication et en collaboration, avec une expérience en partenariat avec des équipes d'ingénierie dans plusieurs fuseaux horaires.…

Source : Jobicy (https://jobicy.com/jobs/153692-senior-software-engineer-data-platform-services)