Emploi
De la source partenaire
Ingénieur logiciel, données
Prix sur demande
Détails
- Type de contrat
- Temps plein
- À distance
- Oui
- Entreprise
- Stability AI
Description
Traduit automatiquement depuis English. Le texte original fait foi. Traduction automatique — une traduction plus précise est en préparation.
Siège social : À distance
L'équipe
L'équipe Data construit et gère les systèmes qui rendent les données de Stability AI utilisables, à la fois pour faire fonctionner l'entreprise et pour former nos modèles. Nous sommes une petite équipe collaborative qui travaille en étroite collaboration avec les finances, le marketing, le SRE, la sécurité, les produits et la recherche. Nous nous concentrons sur les résultats plutôt que sur les heures, et vous bénéficierez d'un accès technique approfondi et de la liberté de construire.
Notre pile : AWS (S3, Athena, Glue, EMR, Step Functions, EventBridge), Iceberg, dbt, Postgres, Terraform, Helm, GitHub Actions, QuickSight, Stripe, Auth0, HubSpot, Customer.io, PostHog, OpenTelemetry et SLURM — ou similaire. Nous nous soucions plus du jugement que du logo.
Le travail
Vous serez propriétaire de bout en bout de notre plateforme de données d'entreprise : le lac de données AWS, la couche de transformation, les intégrations entre nos systèmes d'entreprise et l'infrastructure basée sur Kubernetes sur laquelle ils fonctionnent. Les données qui font fonctionner l'entreprise (facturation, télémétrie d'utilisation, identité, CRM, ERP, coût du cloud) résident dans une douzaine de systèmes qui n'ont jamais été reliés entre eux. Vous serez l'ingénieur qui les connecte et les maintient fiables.
Vous serez également l'ingénieur de données de nos équipes de recherche dans les domaines de l'audio, de la vidéo, de l'image et de la 3D, en créant les pipelines qui transforment les médias bruts en ensembles de données prêts à être entraînés. Il s'agit d'un rôle pratique avec une réelle propriété, et non d'un siège de préparation de données ou d'analyste.
• Posséder la plateforme de données de l'entreprise de bout en bout : le S3/Athena/Glue Lake, le projet dbt et sa construction quotidienne, l'ingestion de Stripe, Auth0, HubSpot, OpenTelemetry et des événements produits, et la couche de service Postgres pour les tableaux de bord et les agents IA.
• Créer et exploiter des intégrations entre les systèmes de facturation, CRM, ERP, d'identité et de télémétrie afin que les revenus, l'utilisation, les coûts et l'identité du client se rapprochent automatiquement plutôt que via des feuilles de calcul et des tickets.
• Concevoir et maintenir la couche entrepôt : modèles dimensionnels, contrats de données avec ingénierie produit pour les schémas d'événements, tests de qualité, lignage et catalogue.
• Appliquer la hiérarchisation des informations personnelles (schémas ouverts ou restreints) via des autorisations d'accès, en collaboration avec les services de sécurité et juridiques.
• Traitez les données à grande échelle : milliards de lignes de télémétrie, flux de journaux de téraoctets, tables Iceberg, partitionnement et contrôle des coûts.
• Propre orchestration et infrastructure : orchestration sur EKS, Helm, Terraform, CI/CD, surveillance et alertes, et participation à la rotation de garde pendant les heures de bureau pour les pipelines quotidiens.
• Fournir des rapports opérationnels pour la finance et la direction : revenus par secteur d'activité, crédits et passifs prépayés, et coûts du cloud par département.
• Soutenir les équipes de recherche dans toutes les modalités : source, vérification de licence, ingération et version de grands ensembles de données de formation pour l'audio, la vidéo, l'image et la 3D.
• Créez les pipelines de génération, de filtrage, de déduplication et de sous-titrage qui transforment les médias bruts ou synthétiques en fragments prêts à être entraînés, et exécutez-les à grande échelle sur notre cluster SLURM et notre stockage d'objets cloud.
• Maintenir à jour la documentation sur la lignée, les mesures de qualité et les ensembles de données afin que tout chercheur puisse reproduire un ensemble de formation.
• Diriger les révisions de conception, encadrer les coéquipiers et rédiger les runbooks qui suppriment les dépendances d'une seule personne.
• Collaborer avec les finances, le marketing, le SRE, la sécurité, les produits et la recherche sur des initiatives de données à l'échelle de l'entreprise.
Ce que vous apportez
Nous recherchons un ingénieur qui associe de solides habitudes en génie logiciel avec l'entrepôt. Le candidat idéal combine de solides habitudes en matière d'ingénierie logicielle, une profondeur de modélisation d'entrepôt et le jugement nécessaire pour dire ce qu'un nombre signifie et ce qu'il ne signifie pas.
Expérience
• Plus de 6 années d'expérience dans la création et l'exploitation de plates-formes de données de production, y compris la propriété de l'architecture.
• Expérience dans l'intégration de systèmes d'affaires SaaS (Stripe, HubSpot, un ERP, un fournisseur d'identité) dans un entrepôt
• Expérience en production dans la préparation de grands ensembles de données de formation multimodales et l'exécution de charges de travail par lots sur des planificateurs HPC ou cloud (SLURM, Kubernetes ou similaire)
• Aisance à travailler de manière indépendante au sein d'une petite équipe avec une réelle appropriation
Compétences et expertises
• Expert SQL et Python, avec de solides habitudes en ingénierie logicielle : tests, revue de code et CI
• Expérience d'entrepôt et de lac avec modélisation réelle : Iceberg ou Delta sur S3, Athena/Trino, Snowflake ou BigQuery et dbt
• Un orchestrateur en production (dbt, Airflow ou Argo) et traitement distribué (Spark ou équivalent)
• AWS, Kubernetes (EKS), Helm et Terraform : vous pouvez déboguer une tâche Glue défaillante et une version Helm cassée
Points forts supplémentaires
• Propriété antérieure d'une plate-forme 0 : 1 dans une startup
• Expérience de travail avec des équipes de recherche sur des modèles génératifs ou exposition pratique à des données audio, vidéo, image ou 3D.
• Rapports sur les coûts FinOps et cloud
• Familiarité avec SOC 2 ou des exigences de conformité similaires pour l'accès aux données.
Avantages et rémunération
En dehors des États-Unis
La rémunération et les avantages sont fixés en fonction du marché et des pratiques locales de chaque pays. Si vous postulez en dehors des États-Unis, votre recruteur partagera les détails de votre pays dès le début du processus.
États-Unis
• Une entreprise axée sur le travail à distance avec des collaborateurs répartis dans plusieurs pays qui apportent des perspectives diverses et une flexibilité intégrée à notre façon de collaborer.
• Couverture santé pour vous et votre famille. Choisissez parmi les plans PPO et HMO, y compris certains plans où Stability AI couvre 100 % des primes pour vous et vos personnes à charge éligibles.
• Comptes HSA et FSA pour mettre de côté des dollars avant impôts pour les soins de santé et autres dépenses éligibles.
• Assurance vie payée par l'entreprise, avec la possibilité d'ajouter une couverture volontaire pour vous-même, votre conjoint et vos enfants.
• Une assurance invalidité de courte et de longue durée, pour protéger une partie de votre revenu si une maladie ou une blessure vous empêche de travailler.
• 401(k) avec contrepartie de l'entreprise allant jusqu'à 4 %.
• Congé parental payé pour vous soutenir à mesure que votre famille s'agrandit.
• Congés payés flexibles et congés payés d'entreprise.
• L'équipement dont vous avez besoin pour faire de votre meilleur travail, fourni par Stability AI.…
Source : Nous travaillons à distance (https://weworkremotely.com/remote-jobs/stability-ai-staff-software-engineer-data)
L'équipe
L'équipe Data construit et gère les systèmes qui rendent les données de Stability AI utilisables, à la fois pour faire fonctionner l'entreprise et pour former nos modèles. Nous sommes une petite équipe collaborative qui travaille en étroite collaboration avec les finances, le marketing, le SRE, la sécurité, les produits et la recherche. Nous nous concentrons sur les résultats plutôt que sur les heures, et vous bénéficierez d'un accès technique approfondi et de la liberté de construire.
Notre pile : AWS (S3, Athena, Glue, EMR, Step Functions, EventBridge), Iceberg, dbt, Postgres, Terraform, Helm, GitHub Actions, QuickSight, Stripe, Auth0, HubSpot, Customer.io, PostHog, OpenTelemetry et SLURM — ou similaire. Nous nous soucions plus du jugement que du logo.
Le travail
Vous serez propriétaire de bout en bout de notre plateforme de données d'entreprise : le lac de données AWS, la couche de transformation, les intégrations entre nos systèmes d'entreprise et l'infrastructure basée sur Kubernetes sur laquelle ils fonctionnent. Les données qui font fonctionner l'entreprise (facturation, télémétrie d'utilisation, identité, CRM, ERP, coût du cloud) résident dans une douzaine de systèmes qui n'ont jamais été reliés entre eux. Vous serez l'ingénieur qui les connecte et les maintient fiables.
Vous serez également l'ingénieur de données de nos équipes de recherche dans les domaines de l'audio, de la vidéo, de l'image et de la 3D, en créant les pipelines qui transforment les médias bruts en ensembles de données prêts à être entraînés. Il s'agit d'un rôle pratique avec une réelle propriété, et non d'un siège de préparation de données ou d'analyste.
• Posséder la plateforme de données de l'entreprise de bout en bout : le S3/Athena/Glue Lake, le projet dbt et sa construction quotidienne, l'ingestion de Stripe, Auth0, HubSpot, OpenTelemetry et des événements produits, et la couche de service Postgres pour les tableaux de bord et les agents IA.
• Créer et exploiter des intégrations entre les systèmes de facturation, CRM, ERP, d'identité et de télémétrie afin que les revenus, l'utilisation, les coûts et l'identité du client se rapprochent automatiquement plutôt que via des feuilles de calcul et des tickets.
• Concevoir et maintenir la couche entrepôt : modèles dimensionnels, contrats de données avec ingénierie produit pour les schémas d'événements, tests de qualité, lignage et catalogue.
• Appliquer la hiérarchisation des informations personnelles (schémas ouverts ou restreints) via des autorisations d'accès, en collaboration avec les services de sécurité et juridiques.
• Traitez les données à grande échelle : milliards de lignes de télémétrie, flux de journaux de téraoctets, tables Iceberg, partitionnement et contrôle des coûts.
• Propre orchestration et infrastructure : orchestration sur EKS, Helm, Terraform, CI/CD, surveillance et alertes, et participation à la rotation de garde pendant les heures de bureau pour les pipelines quotidiens.
• Fournir des rapports opérationnels pour la finance et la direction : revenus par secteur d'activité, crédits et passifs prépayés, et coûts du cloud par département.
• Soutenir les équipes de recherche dans toutes les modalités : source, vérification de licence, ingération et version de grands ensembles de données de formation pour l'audio, la vidéo, l'image et la 3D.
• Créez les pipelines de génération, de filtrage, de déduplication et de sous-titrage qui transforment les médias bruts ou synthétiques en fragments prêts à être entraînés, et exécutez-les à grande échelle sur notre cluster SLURM et notre stockage d'objets cloud.
• Maintenir à jour la documentation sur la lignée, les mesures de qualité et les ensembles de données afin que tout chercheur puisse reproduire un ensemble de formation.
• Diriger les révisions de conception, encadrer les coéquipiers et rédiger les runbooks qui suppriment les dépendances d'une seule personne.
• Collaborer avec les finances, le marketing, le SRE, la sécurité, les produits et la recherche sur des initiatives de données à l'échelle de l'entreprise.
Ce que vous apportez
Nous recherchons un ingénieur qui associe de solides habitudes en génie logiciel avec l'entrepôt. Le candidat idéal combine de solides habitudes en matière d'ingénierie logicielle, une profondeur de modélisation d'entrepôt et le jugement nécessaire pour dire ce qu'un nombre signifie et ce qu'il ne signifie pas.
Expérience
• Plus de 6 années d'expérience dans la création et l'exploitation de plates-formes de données de production, y compris la propriété de l'architecture.
• Expérience dans l'intégration de systèmes d'affaires SaaS (Stripe, HubSpot, un ERP, un fournisseur d'identité) dans un entrepôt
• Expérience en production dans la préparation de grands ensembles de données de formation multimodales et l'exécution de charges de travail par lots sur des planificateurs HPC ou cloud (SLURM, Kubernetes ou similaire)
• Aisance à travailler de manière indépendante au sein d'une petite équipe avec une réelle appropriation
Compétences et expertises
• Expert SQL et Python, avec de solides habitudes en ingénierie logicielle : tests, revue de code et CI
• Expérience d'entrepôt et de lac avec modélisation réelle : Iceberg ou Delta sur S3, Athena/Trino, Snowflake ou BigQuery et dbt
• Un orchestrateur en production (dbt, Airflow ou Argo) et traitement distribué (Spark ou équivalent)
• AWS, Kubernetes (EKS), Helm et Terraform : vous pouvez déboguer une tâche Glue défaillante et une version Helm cassée
Points forts supplémentaires
• Propriété antérieure d'une plate-forme 0 : 1 dans une startup
• Expérience de travail avec des équipes de recherche sur des modèles génératifs ou exposition pratique à des données audio, vidéo, image ou 3D.
• Rapports sur les coûts FinOps et cloud
• Familiarité avec SOC 2 ou des exigences de conformité similaires pour l'accès aux données.
Avantages et rémunération
En dehors des États-Unis
La rémunération et les avantages sont fixés en fonction du marché et des pratiques locales de chaque pays. Si vous postulez en dehors des États-Unis, votre recruteur partagera les détails de votre pays dès le début du processus.
États-Unis
• Une entreprise axée sur le travail à distance avec des collaborateurs répartis dans plusieurs pays qui apportent des perspectives diverses et une flexibilité intégrée à notre façon de collaborer.
• Couverture santé pour vous et votre famille. Choisissez parmi les plans PPO et HMO, y compris certains plans où Stability AI couvre 100 % des primes pour vous et vos personnes à charge éligibles.
• Comptes HSA et FSA pour mettre de côté des dollars avant impôts pour les soins de santé et autres dépenses éligibles.
• Assurance vie payée par l'entreprise, avec la possibilité d'ajouter une couverture volontaire pour vous-même, votre conjoint et vos enfants.
• Une assurance invalidité de courte et de longue durée, pour protéger une partie de votre revenu si une maladie ou une blessure vous empêche de travailler.
• 401(k) avec contrepartie de l'entreprise allant jusqu'à 4 %.
• Congé parental payé pour vous soutenir à mesure que votre famille s'agrandit.
• Congés payés flexibles et congés payés d'entreprise.
• L'équipement dont vous avez besoin pour faire de votre meilleur travail, fourni par Stability AI.…
Source : Nous travaillons à distance (https://weworkremotely.com/remote-jobs/stability-ai-staff-software-engineer-data)
Cette annonce provient d'un flux partenaire. Postulez sur le site source.
Source: Stability AI
Annonce fournie par Stability AI.