Работа
Из фида партнера
Штатный инженер-программист, данные
Цена по запросу
Детали
- Тип занятости
- Полная занятость
- Удалённо
- Да
- Компания
- Stability AI
Описание
Автоматически переведено с языка English. Оригинальный текст является основным. Машинный перевод — готовится более точный вариант.
Штаб-квартира: удаленно
Команда
Команда данных создает и запускает системы, которые позволяют использовать данные Stability AI как для ведения бизнеса, так и для обучения наших моделей. Мы небольшая сплоченная команда, которая тесно сотрудничает с отделами финансов, маркетинга, SRE, безопасности, продуктов и исследований. Мы фокусируемся на результатах, а не на часах, и у вас будет глубокий технический доступ и свобода в разработке.
Наш стек: AWS (S3, Athena, Glue, EMR, Step Functions, EventBridge), Iceberg, dbt, Postgres, Terraform, Helm, GitHub Actions, QuickSight, Stripe, Auth0, HubSpot, Customer.io, PostHog, OpenTelemetry и SLURM — или аналогичные. Мы заботимся о суждении больше, чем о логотипе.
Работа
Вы будете владеть всей платформой данных нашей компании: озером данных AWS, уровнем преобразования, интеграцией между нашими бизнес-системами и инфраструктурой на базе Kubernetes, на которой они работают. Данные, управляющие бизнесом (выставление счетов, телеметрия использования, идентификационные данные, CRM, ERP, стоимость облака), хранятся в дюжине систем, которые никогда не были связаны друг с другом. Вы будете инженером, который соединяет их и обеспечивает их надежность.
Вы также будете инженером по обработке данных в наших исследовательских группах по аудио, видео, изображениям и 3D, создавая конвейеры, которые превращают необработанные медиафайлы в готовые к обучению наборы данных. Это практическая роль с реальным участием, а не должность специалиста по подготовке данных или аналитика.
• Комплексная платформа данных компании: озеро S3/Athena/Glue, проект dbt и его ежедневная сборка, прием данных из Stripe, Auth0, HubSpot, OpenTelemetry и событий продукта, а также уровень обслуживания Postgres для информационных панелей и агентов искусственного интеллекта.
• Создавайте и обеспечивайте интеграцию между системами выставления счетов, CRM, ERP, идентификационными и телеметрическими системами, чтобы доходы, использование, затраты и идентификационные данные клиентов согласовывались автоматически, а не с помощью электронных таблиц и билетов.
• Проектирование и поддержка уровня хранилища: многомерные модели, контракты данных с инженерами продукта для схем событий, тесты качества, происхождение и каталог.
• Обеспечение многоуровневого распределения PII (открытые и ограниченные схемы) посредством предоставления прав доступа и взаимодействия с отделом безопасности и юридической службы.
• Масштабная обработка данных: миллиарды строк телеметрии, терабайтные потоки журналов, таблицы Iceberg, секционирование и контроль затрат.
• Собственная оркестрация и инфраструктура: оркестровка на EKS, Helm, Terraform, CI/CD, мониторинг и оповещение, а также присоединение к ротации дежурств в рабочее время для ежедневных конвейеров.
• Предоставляйте оперативную отчетность для финансов и руководства: доходы по направлениям деятельности, кредиты и предоплаченные обязательства, а также стоимость облака по отделам.
• Поддержка исследовательских групп по всем направлениям: источник, проверка лицензий, прием и версия больших наборов обучающих данных для аудио, видео, изображений и 3D.
• Создайте конвейеры генерации, фильтрации, дедупликации и субтитров, которые преобразуют необработанные или синтетические медиафайлы в готовые к обучению фрагменты, и запускайте их в масштабе в нашем кластере SLURM и облачном объектном хранилище.
• Поддерживайте актуальность документации по происхождению, показателям качества и наборам данных, чтобы любой исследователь мог воспроизвести обучающий набор.
• Проводить обзоры проектов, наставлять членов команды и писать инструкции, которые устраняют зависимости от одного человека.
• Сотрудничайте с отделами финансов, маркетинга, SRE, безопасности, продуктов и исследований в рамках общекорпоративных инициатив в области данных.
Что вы приносите
Мы ищем инженера, который сочетает сильные навыки разработки программного обеспечения со складскими обязанностями. Идеальный кандидат сочетает в себе сильные навыки разработки программного обеспечения с глубиной моделирования складов и умением сказать, что означает число, а что нет.
Опыт
• Более 6 лет создания и эксплуатации платформ производственных данных, включая владение архитектурой.
• Опыт интеграции бизнес-систем SaaS (Stripe, HubSpot, ERP, поставщик удостоверений) в склад.
• Опыт производства, подготовка больших мультимодальных наборов обучающих данных и выполнение пакетных рабочих нагрузок на HPC или облачных планировщиках (SLURM, Kubernetes или аналогичные).
• Комфортная самостоятельная работа в небольшой команде с реальной ответственностью.
Навыки и опыт
• Эксперт по SQL и Python с сильными навыками разработки программного обеспечения: тесты, проверка кода и CI.
• Опыт работы на складах и озерах с реальным моделированием: Iceberg или Delta на S3, Athena/Trino, Snowflake или BigQuery и dbt.
• Оркестратор в производстве (dbt, Airflow или Argo) и распределенной обработке (Spark или аналогичный).
• AWS, Kubernetes (EKS), Helm и Terraform — вы можете отладить неудачное задание Glue и сломанную версию Helm.
Дополнительные сильные стороны
• Предварительное владение платформой от 0 до 1 при стартапе.
• Опыт работы с исследовательскими группами над генеративными моделями или практическое использование аудио, видео, изображений или 3D-данных.
• Отчеты о расходах FinOps и облачных технологиях
• Знание SOC 2 или аналогичных требований соответствия для доступа к данным.
Льготы и компенсации
За пределами США
Компенсации и льготы устанавливаются для рынка каждой страны и местной практики. Если вы подаете заявление из-за пределов США, ваш рекрутер поделится информацией о вашей стране на раннем этапе процесса.
Соединенные Штаты
• Компания, работающая удаленно, с коллегами из разных стран, которые предлагают разные точки зрения, и гибкость, встроенную в наше сотрудничество.
• Медицинское страхование для вас и вашей семьи. Выбирайте из планов PPO и HMO, включая отдельные планы, в которых Stability AI покрывает 100 % страховых взносов для вас и ваших иждивенцев, имеющих на это право.
• Счета HSA и FSA для резервирования долларов до уплаты налогов на здравоохранение и другие приемлемые расходы.
• Оплачиваемое компанией страхование жизни с возможностью добавить добровольное страхование для себя, своего супруга и своих детей.
• Краткосрочное и долгосрочное страхование по инвалидности для защиты части вашего дохода, если болезнь или травма помешают вам работать.
• 401(k) с совпадением компаний до 4%.
• Оплачиваемый отпуск по уходу за ребенком, чтобы поддержать вас по мере роста вашей семьи.
• Гибкий оплачиваемый отпуск, а также оплачиваемый корпоративный отпуск.
• Оборудование, необходимое для эффективной работы, предоставлено Stability AI.…
Источник: Мы работаем удаленно (https://weworkremotely.com/remote-jobs/stability-ai-staff-software-engineer-data).
Команда
Команда данных создает и запускает системы, которые позволяют использовать данные Stability AI как для ведения бизнеса, так и для обучения наших моделей. Мы небольшая сплоченная команда, которая тесно сотрудничает с отделами финансов, маркетинга, SRE, безопасности, продуктов и исследований. Мы фокусируемся на результатах, а не на часах, и у вас будет глубокий технический доступ и свобода в разработке.
Наш стек: AWS (S3, Athena, Glue, EMR, Step Functions, EventBridge), Iceberg, dbt, Postgres, Terraform, Helm, GitHub Actions, QuickSight, Stripe, Auth0, HubSpot, Customer.io, PostHog, OpenTelemetry и SLURM — или аналогичные. Мы заботимся о суждении больше, чем о логотипе.
Работа
Вы будете владеть всей платформой данных нашей компании: озером данных AWS, уровнем преобразования, интеграцией между нашими бизнес-системами и инфраструктурой на базе Kubernetes, на которой они работают. Данные, управляющие бизнесом (выставление счетов, телеметрия использования, идентификационные данные, CRM, ERP, стоимость облака), хранятся в дюжине систем, которые никогда не были связаны друг с другом. Вы будете инженером, который соединяет их и обеспечивает их надежность.
Вы также будете инженером по обработке данных в наших исследовательских группах по аудио, видео, изображениям и 3D, создавая конвейеры, которые превращают необработанные медиафайлы в готовые к обучению наборы данных. Это практическая роль с реальным участием, а не должность специалиста по подготовке данных или аналитика.
• Комплексная платформа данных компании: озеро S3/Athena/Glue, проект dbt и его ежедневная сборка, прием данных из Stripe, Auth0, HubSpot, OpenTelemetry и событий продукта, а также уровень обслуживания Postgres для информационных панелей и агентов искусственного интеллекта.
• Создавайте и обеспечивайте интеграцию между системами выставления счетов, CRM, ERP, идентификационными и телеметрическими системами, чтобы доходы, использование, затраты и идентификационные данные клиентов согласовывались автоматически, а не с помощью электронных таблиц и билетов.
• Проектирование и поддержка уровня хранилища: многомерные модели, контракты данных с инженерами продукта для схем событий, тесты качества, происхождение и каталог.
• Обеспечение многоуровневого распределения PII (открытые и ограниченные схемы) посредством предоставления прав доступа и взаимодействия с отделом безопасности и юридической службы.
• Масштабная обработка данных: миллиарды строк телеметрии, терабайтные потоки журналов, таблицы Iceberg, секционирование и контроль затрат.
• Собственная оркестрация и инфраструктура: оркестровка на EKS, Helm, Terraform, CI/CD, мониторинг и оповещение, а также присоединение к ротации дежурств в рабочее время для ежедневных конвейеров.
• Предоставляйте оперативную отчетность для финансов и руководства: доходы по направлениям деятельности, кредиты и предоплаченные обязательства, а также стоимость облака по отделам.
• Поддержка исследовательских групп по всем направлениям: источник, проверка лицензий, прием и версия больших наборов обучающих данных для аудио, видео, изображений и 3D.
• Создайте конвейеры генерации, фильтрации, дедупликации и субтитров, которые преобразуют необработанные или синтетические медиафайлы в готовые к обучению фрагменты, и запускайте их в масштабе в нашем кластере SLURM и облачном объектном хранилище.
• Поддерживайте актуальность документации по происхождению, показателям качества и наборам данных, чтобы любой исследователь мог воспроизвести обучающий набор.
• Проводить обзоры проектов, наставлять членов команды и писать инструкции, которые устраняют зависимости от одного человека.
• Сотрудничайте с отделами финансов, маркетинга, SRE, безопасности, продуктов и исследований в рамках общекорпоративных инициатив в области данных.
Что вы приносите
Мы ищем инженера, который сочетает сильные навыки разработки программного обеспечения со складскими обязанностями. Идеальный кандидат сочетает в себе сильные навыки разработки программного обеспечения с глубиной моделирования складов и умением сказать, что означает число, а что нет.
Опыт
• Более 6 лет создания и эксплуатации платформ производственных данных, включая владение архитектурой.
• Опыт интеграции бизнес-систем SaaS (Stripe, HubSpot, ERP, поставщик удостоверений) в склад.
• Опыт производства, подготовка больших мультимодальных наборов обучающих данных и выполнение пакетных рабочих нагрузок на HPC или облачных планировщиках (SLURM, Kubernetes или аналогичные).
• Комфортная самостоятельная работа в небольшой команде с реальной ответственностью.
Навыки и опыт
• Эксперт по SQL и Python с сильными навыками разработки программного обеспечения: тесты, проверка кода и CI.
• Опыт работы на складах и озерах с реальным моделированием: Iceberg или Delta на S3, Athena/Trino, Snowflake или BigQuery и dbt.
• Оркестратор в производстве (dbt, Airflow или Argo) и распределенной обработке (Spark или аналогичный).
• AWS, Kubernetes (EKS), Helm и Terraform — вы можете отладить неудачное задание Glue и сломанную версию Helm.
Дополнительные сильные стороны
• Предварительное владение платформой от 0 до 1 при стартапе.
• Опыт работы с исследовательскими группами над генеративными моделями или практическое использование аудио, видео, изображений или 3D-данных.
• Отчеты о расходах FinOps и облачных технологиях
• Знание SOC 2 или аналогичных требований соответствия для доступа к данным.
Льготы и компенсации
За пределами США
Компенсации и льготы устанавливаются для рынка каждой страны и местной практики. Если вы подаете заявление из-за пределов США, ваш рекрутер поделится информацией о вашей стране на раннем этапе процесса.
Соединенные Штаты
• Компания, работающая удаленно, с коллегами из разных стран, которые предлагают разные точки зрения, и гибкость, встроенную в наше сотрудничество.
• Медицинское страхование для вас и вашей семьи. Выбирайте из планов PPO и HMO, включая отдельные планы, в которых Stability AI покрывает 100 % страховых взносов для вас и ваших иждивенцев, имеющих на это право.
• Счета HSA и FSA для резервирования долларов до уплаты налогов на здравоохранение и другие приемлемые расходы.
• Оплачиваемое компанией страхование жизни с возможностью добавить добровольное страхование для себя, своего супруга и своих детей.
• Краткосрочное и долгосрочное страхование по инвалидности для защиты части вашего дохода, если болезнь или травма помешают вам работать.
• 401(k) с совпадением компаний до 4%.
• Оплачиваемый отпуск по уходу за ребенком, чтобы поддержать вас по мере роста вашей семьи.
• Гибкий оплачиваемый отпуск, а также оплачиваемый корпоративный отпуск.
• Оборудование, необходимое для эффективной работы, предоставлено Stability AI.…
Источник: Мы работаем удаленно (https://weworkremotely.com/remote-jobs/stability-ai-staff-software-engineer-data).
Это объявление получено из партнерского фида. Оформляйте заказ на исходном сайте.
Источник: Stability AI
Объявление предоставлено Stability AI.