Ingénieur de données principal

Black Duck Software, Inc. aide les organisations à créer des logiciels sécurisés et de haute qualité, en minimisant les risques tout en maximisant la vitesse et la productivité. Black Duck, pionnier reconnu de la sécurité des applications, fournit des solutions SAST, SCA et DAST qui permettent aux équipes de rechercher et de corriger rapidement les vulnérabilités et les défauts du code propriétaire, des composants open source et du comportement des applications. Avec une combinaison d'outils, de services et d'expertise de pointe, seul Black Duck aide les organisations à maximiser la sécurité et la qualité dans DevSecOps et tout au long du cycle de vie du développement logiciel.

Ce que tu feras

• Diriger la conception et le développement de services de données multi-produits pour plusieurs gammes de produits à partir d'un seul plan de données gouverné.

• Définir le modèle du « plan de données client » : identifiants clients canoniques, dimensions partagées et faits cohérents utilisés dans tous les produits.

• Créez et opérationnalisez des modèles d'ingestion pour les données par lots, en streaming et d'événements, avec une intégration reproductible pour de nouvelles sources.

• Posséder le manuel opérationnel pour la fiabilité des données : contrats de données, contrôles de qualité, traçabilité, surveillance et réponse aux incidents.

• Implémentez et exécutez des méthodes d'accès qui rendent les données utilisables : ensembles de données organisés, interfaces de requête sécurisées et API de données prêtes pour le produit si nécessaire.

• Produisez des produits de données destinés aux clients (ensembles de données, métriques, exportations et flux) avec gestion des versions, documentation et propriété claire.

• Concevoir des modèles de données adaptés à la fois aux systèmes opérationnels (RDS) et aux magasins d'analyse (colonnes/OLAP), y compris l'ajustement des performances et des coûts.

• Assurez-vous que les produits de données alimentent également les flux de travail de ML : des ensembles de données de formation fiables, des sorties prêtes pour les fonctionnalités et des définitions cohérentes pour la prise de décision.

• Activez l'automatisation de l'IA en fournissant des produits de données gouvernés, fiables et à faible latence, qui peuvent être utilisés en toute sécurité dans les flux de travail automatisés.

• Travailler en étroite collaboration avec les parties prenantes des produits, de l'ingénierie et de la sécurité pour aligner les produits de données sur les priorités de la feuille de route et les résultats des clients.

• Élevez la barre technique grâce à des révisions d'architecture, des normes et du mentorat, tout en restant actif dans les systèmes clés.

Obligatoire

• Expérience significative dans la création et l'exploitation de plates-formes de données de production à grande échelle, y compris la propriété sur appel et opérationnelle.

• Solides compétences SQL et solides compétences Python, utilisées pour créer des pipelines, des services et l'automatisation.

• Expérience pratique de l'exécution de systèmes cloud sur AWS et Google Cloud (niveau IaaS : calcul, stockage, mise en réseau, IAM).

• Expérience pratique avec les bases de données opérationnelles (style RDS) et les magasins d'analyse (colonnes/OLAP), y compris l'optimisation des performances.

• Forte capacité de modélisation de données, y compris l'évolution des schémas, les dimensions conformes et les définitions de métriques « source unique de vérité ».

• Expérience dans la fourniture de produits de données dont dépendent d'autres équipes ou clients, avec des contrats clairs et des attentes en matière de fiabilité.

• Capacité à faire des compromis d'ingénierie judicieux en termes de latence, de précision, de coût et de sécurité sans créer de complexité fragile.

• Expérience avec les modèles Lakehouse et les formats de tables ouvertes (ou similaires), y compris la gouvernance et la maintenance des tables.

• Expérience avec les systèmes d'orchestration et de streaming utilisés en production (batch + temps réel) et dans la gestion des remplissages en toute sécurité.

• Familiarité avec les besoins en données ML (répartitions formation/service, ensembles de données prêts pour les fonctionnalités, ensembles de données d'évaluation) et les flux de travail adjacents à l'IA.

Préféré

• Expérience dans la création de plateformes de données en libre-service (catalogue, découvrabilité, contrôles d'accès) utilisées par plusieurs équipes.

• Expérience dans des environnements réglementés ou sensibles en matière de sécurité, y compris les contrôles de conservation, d'audit et d'accès aux données.

Modèle de travail, lieu et déplacement

• Emplacement : Belfast, Royaume-Uni

• Relève de : VP de l'ingénierie des données

• Modèle de travail : hybride (détails à déterminer)

• Horaires de collaboration : flexibles ; chevauchement avec les fuseaux horaires du Royaume-Uni et des États-Unis

• Déplacements : minimes

Black Duck est un employeur garantissant l'égalité des chances. Nous prenons en compte tous les candidats à un emploi sans distinction de race, de couleur, d'origine nationale, de religion, de sexe, d'identité ou d'expression de genre, d'âge, de handicap, d'orientation sexuelle, de statut d'ancien combattant ou de service militaire, ou de toute autre caractéristique protégée par la loi applicable. Black Duck se conforme à toutes les lois applicables interdisant la discrimination en matière d'emploi dans toutes les juridictions où elle opère et propose des aménagements raisonnables aux personnes handicapées conformément à la loi applicable.

Trouvez un emploi au Royaume-Uni sur Arbeitnow

Source : Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/blackduck/principal-data-engineer-belfast-249456)