Praca
Z kanału partnera
Inżynier oprogramowania, Data
Cena na życzenie
Szczegóły
- Typ zatrudnienia
- Pełny etat
- Zdalnie
- Tak
- Firma
- Stability AI
Opis
Automatyczne tłumaczenie z języka English. Oryginał jest wiążący. Tłumaczenie maszynowe — trwają prace nad dokładniejszą wersją.
Siedziba: odległa
Zespół
Zespół Data buduje i obsługuje systemy, dzięki którym dane Stability AI stają się użyteczne zarówno do prowadzenia działalności biznesowej, jak i do szkolenia naszych modeli. Jesteśmy małym, współpracującym zespołem, który ściśle współpracuje z finansami, marketingiem, SRE, bezpieczeństwem, produktami i badaniami. Skupiamy się na wynikach, a nie na godzinach, a Ty będziesz mieć szeroki dostęp techniczny i swobodę budowania.
Nasz stos: AWS (S3, Athena, Glue, EMR, Step Functions, EventBridge), Iceberg, dbt, Postgres, Terraform, Helm, GitHub Actions, QuickSight, Stripe, Auth0, HubSpot, Customer.io, PostHog, OpenTelemetry i SLURM — lub podobne. Bardziej zależy nam na ocenie niż na logo.
Praca
Będziesz właścicielem naszej firmowej platformy danych od początku do końca: jezioro danych AWS, warstwa transformacji, integracje między naszymi systemami biznesowymi oraz infrastruktura oparta na Kubernetes, na której działają. Dane napędzające firmę (rozliczenia, telemetria użytkowania, tożsamość, CRM, ERP, koszty chmury) znajdują się w kilkunastu systemach, które nigdy nie były ze sobą połączone. Będziesz inżynierem, który je połączy i zapewni ich niezawodność.
Będziesz także inżynierem danych w naszych zespołach badawczych zajmujących się dźwiękiem, wideo, obrazem i 3D, tworząc potoki, które przekształcają surowe media w zestawy danych gotowe do szkolenia. Jest to praktyczna rola z prawdziwym udziałem, a nie stanowisko do przygotowywania danych lub analityka.
• Kompleksowo zarządzaj firmową platformą danych: jezioro S3/Athena/Glue, projekt dbt i jego codzienna kompilacja, pozyskiwanie z Stripe, Auth0, HubSpot, OpenTelemetry i zdarzeń związanych z produktami oraz warstwa obsługująca Postgres dla dashboardów i agentów AI
• Twórz i obsługuj integracje między systemami rozliczeniowymi, CRM, ERP, tożsamością i telemetrią, aby przychody, wykorzystanie, koszty i tożsamość klienta były uzgadniane automatycznie, zamiast za pośrednictwem arkuszy kalkulacyjnych i zgłoszeń
• Projektowanie i utrzymywanie warstwy magazynowej: modele wymiarowe, kontrakty danych z inżynierią produktu dla schematów zdarzeń, testy jakości, pochodzenie i katalog
• Egzekwuj podział na warstwy umożliwiające identyfikację osób (schematy otwarte i zastrzeżone) poprzez przyznanie dostępu, współpracując z Działem Bezpieczeństwa i Działem Prawnym
• Przetwarzaj dane na dużą skalę: miliardy wierszy telemetrycznych, terabajtowe strumienie dzienników, tabele Iceberg, partycjonowanie i kontrola kosztów
• Własna orkiestracja i infrastruktura: orkiestracja na EKS, Helm, Terraform, CI/CD, monitorowanie i ostrzeganie oraz dołączenie do rotacji dyżurów w godzinach pracy dla codziennych rurociągów
• Dostarczaj raporty operacyjne dla finansów i kierownictwa: przychody według linii biznesowej, kredyty i zobowiązania przedpłacone oraz koszty chmury według działów
• Wspieraj zespoły badawcze w każdej modalności: źródło, sprawdzanie licencji, przetwarzanie i wersja dużych zbiorów danych szkoleniowych dla audio, wideo, obrazów i 3D
• Twórz potoki generowania, filtrowania, deduplikacji i tworzenia napisów, które zamieniają surowe lub syntetyczne media w gotowe do szkolenia fragmenty i uruchamiaj je na dużą skalę w naszym klastrze SLURM i obiektowej pamięci masowej w chmurze
• Aktualizuj pochodzenie, metryki jakości i dokumentację zbioru danych, aby każdy badacz mógł odtworzyć zbiór uczący
• Prowadź przeglądy projektów, doradzaj członkom zespołu i pisz elementy Runbook, które usuwają zależności jednoosobowe
• Współpracuj z finansami, marketingiem, SRE, bezpieczeństwem, produktami i badaniami w ramach ogólnofirmowych inicjatyw dotyczących danych
Co przynosisz
Poszukujemy inżyniera, który łączy silne nawyki inżynierii oprogramowania z magazynem. Idealny kandydat łączy silne nawyki inżynierii oprogramowania z umiejętnością modelowania hurtowni oraz umiejętnością określania, co liczba oznacza, a czego nie.
Doświadczenie
• Ponad 6 lat budowania i obsługi produkcyjnych platform danych, łącznie z własnością architektury
• Doświadczenie w integracji systemów biznesowych SaaS (Stripe, HubSpot, ERP, dostawca tożsamości) z hurtownią
• Doświadczenie produkcyjne w przygotowywaniu dużych multimodalnych zbiorów danych szkoleniowych i uruchamianiu obciążeń wsadowych na HPC lub planistach w chmurze (SLURM, Kubernetes lub podobne)
• Komfort samodzielnej pracy w małym zespole z prawdziwymi właścicielami
Umiejętności i wiedza specjalistyczna
• Ekspert SQL i Python z silnymi nawykami inżynierii oprogramowania: testy, przegląd kodu i CI
• Doświadczenie w magazynach i jeziorach z rzeczywistym modelowaniem: Iceberg lub Delta na S3, Athena/Trino, Snowflake lub BigQuery i dbt
• Orkiestrator w produkcji (dbt, Airflow lub Argo) i przetwarzaniu rozproszonym (Spark lub odpowiednik)
• AWS, Kubernetes (EKS), Helm i Terraform — możesz debugować nieudane zadanie klejenia i uszkodzoną wersję Helm
Dodatkowe mocne strony
• Posiadanie platformy od 0 do 1 podczas uruchamiania
• Doświadczenie w pracy z zespołami badawczymi nad modelami generatywnymi lub praktyczna ekspozycja na dane audio, wideo, obrazy lub 3D
• Raportowanie kosztów FinOps i chmury
• Znajomość SOC 2 lub podobnych wymagań dotyczących dostępu do danych
Świadczenia i odszkodowania
Poza Stanami Zjednoczonymi
Wynagrodzenia i świadczenia ustalane są w zależności od rynku i lokalnej praktyki każdego kraju. Jeśli aplikujesz spoza Stanów Zjednoczonych, Twój rekruter udostępni szczegółowe informacje dotyczące Twojego kraju na wczesnym etapie procesu.
Stany Zjednoczone
• Firma działająca zdalnie, z członkami zespołu w wielu krajach, którzy wnoszą różnorodne perspektywy i elastyczność wbudowaną w sposób, w jaki współpracujemy.
• Ubezpieczenie zdrowotne dla Ciebie i Twojej rodziny. Wybieraj spośród planów PPO i HMO, w tym wybranych planów, w których Stability AI pokrywa 100% składek dla Ciebie i Twoich kwalifikujących się osób na Twoim utrzymaniu.
• Konta HSA i FSA, na których można odkładać dolary przed opodatkowaniem na opiekę zdrowotną i inne kwalifikujące się wydatki.
• Firmowe ubezpieczenie na życie z możliwością dobrowolnego ubezpieczenia siebie, współmałżonka i dzieci.
• Krótko- i długoterminowe ubezpieczenie na wypadek niezdolności do pracy, chroniące część Twoich dochodów, jeśli choroba lub uraz uniemożliwiają Ci pracę.
• 401(k) z dopasowaniem firmy do 4%.
• Płatny urlop rodzicielski, który pomoże Ci w powiększeniu się rodziny.
• Elastyczny płatny czas wolny oraz płatne święta firmowe.
• Sprzęt, którego potrzebujesz, aby wykonywać swoją najlepszą pracę, dostarczony przez Stability AI.…
Źródło: Pracujemy zdalnie (https://weworkremotely.com/remote-jobs/stability-ai-staff-software-engineer-data)
Zespół
Zespół Data buduje i obsługuje systemy, dzięki którym dane Stability AI stają się użyteczne zarówno do prowadzenia działalności biznesowej, jak i do szkolenia naszych modeli. Jesteśmy małym, współpracującym zespołem, który ściśle współpracuje z finansami, marketingiem, SRE, bezpieczeństwem, produktami i badaniami. Skupiamy się na wynikach, a nie na godzinach, a Ty będziesz mieć szeroki dostęp techniczny i swobodę budowania.
Nasz stos: AWS (S3, Athena, Glue, EMR, Step Functions, EventBridge), Iceberg, dbt, Postgres, Terraform, Helm, GitHub Actions, QuickSight, Stripe, Auth0, HubSpot, Customer.io, PostHog, OpenTelemetry i SLURM — lub podobne. Bardziej zależy nam na ocenie niż na logo.
Praca
Będziesz właścicielem naszej firmowej platformy danych od początku do końca: jezioro danych AWS, warstwa transformacji, integracje między naszymi systemami biznesowymi oraz infrastruktura oparta na Kubernetes, na której działają. Dane napędzające firmę (rozliczenia, telemetria użytkowania, tożsamość, CRM, ERP, koszty chmury) znajdują się w kilkunastu systemach, które nigdy nie były ze sobą połączone. Będziesz inżynierem, który je połączy i zapewni ich niezawodność.
Będziesz także inżynierem danych w naszych zespołach badawczych zajmujących się dźwiękiem, wideo, obrazem i 3D, tworząc potoki, które przekształcają surowe media w zestawy danych gotowe do szkolenia. Jest to praktyczna rola z prawdziwym udziałem, a nie stanowisko do przygotowywania danych lub analityka.
• Kompleksowo zarządzaj firmową platformą danych: jezioro S3/Athena/Glue, projekt dbt i jego codzienna kompilacja, pozyskiwanie z Stripe, Auth0, HubSpot, OpenTelemetry i zdarzeń związanych z produktami oraz warstwa obsługująca Postgres dla dashboardów i agentów AI
• Twórz i obsługuj integracje między systemami rozliczeniowymi, CRM, ERP, tożsamością i telemetrią, aby przychody, wykorzystanie, koszty i tożsamość klienta były uzgadniane automatycznie, zamiast za pośrednictwem arkuszy kalkulacyjnych i zgłoszeń
• Projektowanie i utrzymywanie warstwy magazynowej: modele wymiarowe, kontrakty danych z inżynierią produktu dla schematów zdarzeń, testy jakości, pochodzenie i katalog
• Egzekwuj podział na warstwy umożliwiające identyfikację osób (schematy otwarte i zastrzeżone) poprzez przyznanie dostępu, współpracując z Działem Bezpieczeństwa i Działem Prawnym
• Przetwarzaj dane na dużą skalę: miliardy wierszy telemetrycznych, terabajtowe strumienie dzienników, tabele Iceberg, partycjonowanie i kontrola kosztów
• Własna orkiestracja i infrastruktura: orkiestracja na EKS, Helm, Terraform, CI/CD, monitorowanie i ostrzeganie oraz dołączenie do rotacji dyżurów w godzinach pracy dla codziennych rurociągów
• Dostarczaj raporty operacyjne dla finansów i kierownictwa: przychody według linii biznesowej, kredyty i zobowiązania przedpłacone oraz koszty chmury według działów
• Wspieraj zespoły badawcze w każdej modalności: źródło, sprawdzanie licencji, przetwarzanie i wersja dużych zbiorów danych szkoleniowych dla audio, wideo, obrazów i 3D
• Twórz potoki generowania, filtrowania, deduplikacji i tworzenia napisów, które zamieniają surowe lub syntetyczne media w gotowe do szkolenia fragmenty i uruchamiaj je na dużą skalę w naszym klastrze SLURM i obiektowej pamięci masowej w chmurze
• Aktualizuj pochodzenie, metryki jakości i dokumentację zbioru danych, aby każdy badacz mógł odtworzyć zbiór uczący
• Prowadź przeglądy projektów, doradzaj członkom zespołu i pisz elementy Runbook, które usuwają zależności jednoosobowe
• Współpracuj z finansami, marketingiem, SRE, bezpieczeństwem, produktami i badaniami w ramach ogólnofirmowych inicjatyw dotyczących danych
Co przynosisz
Poszukujemy inżyniera, który łączy silne nawyki inżynierii oprogramowania z magazynem. Idealny kandydat łączy silne nawyki inżynierii oprogramowania z umiejętnością modelowania hurtowni oraz umiejętnością określania, co liczba oznacza, a czego nie.
Doświadczenie
• Ponad 6 lat budowania i obsługi produkcyjnych platform danych, łącznie z własnością architektury
• Doświadczenie w integracji systemów biznesowych SaaS (Stripe, HubSpot, ERP, dostawca tożsamości) z hurtownią
• Doświadczenie produkcyjne w przygotowywaniu dużych multimodalnych zbiorów danych szkoleniowych i uruchamianiu obciążeń wsadowych na HPC lub planistach w chmurze (SLURM, Kubernetes lub podobne)
• Komfort samodzielnej pracy w małym zespole z prawdziwymi właścicielami
Umiejętności i wiedza specjalistyczna
• Ekspert SQL i Python z silnymi nawykami inżynierii oprogramowania: testy, przegląd kodu i CI
• Doświadczenie w magazynach i jeziorach z rzeczywistym modelowaniem: Iceberg lub Delta na S3, Athena/Trino, Snowflake lub BigQuery i dbt
• Orkiestrator w produkcji (dbt, Airflow lub Argo) i przetwarzaniu rozproszonym (Spark lub odpowiednik)
• AWS, Kubernetes (EKS), Helm i Terraform — możesz debugować nieudane zadanie klejenia i uszkodzoną wersję Helm
Dodatkowe mocne strony
• Posiadanie platformy od 0 do 1 podczas uruchamiania
• Doświadczenie w pracy z zespołami badawczymi nad modelami generatywnymi lub praktyczna ekspozycja na dane audio, wideo, obrazy lub 3D
• Raportowanie kosztów FinOps i chmury
• Znajomość SOC 2 lub podobnych wymagań dotyczących dostępu do danych
Świadczenia i odszkodowania
Poza Stanami Zjednoczonymi
Wynagrodzenia i świadczenia ustalane są w zależności od rynku i lokalnej praktyki każdego kraju. Jeśli aplikujesz spoza Stanów Zjednoczonych, Twój rekruter udostępni szczegółowe informacje dotyczące Twojego kraju na wczesnym etapie procesu.
Stany Zjednoczone
• Firma działająca zdalnie, z członkami zespołu w wielu krajach, którzy wnoszą różnorodne perspektywy i elastyczność wbudowaną w sposób, w jaki współpracujemy.
• Ubezpieczenie zdrowotne dla Ciebie i Twojej rodziny. Wybieraj spośród planów PPO i HMO, w tym wybranych planów, w których Stability AI pokrywa 100% składek dla Ciebie i Twoich kwalifikujących się osób na Twoim utrzymaniu.
• Konta HSA i FSA, na których można odkładać dolary przed opodatkowaniem na opiekę zdrowotną i inne kwalifikujące się wydatki.
• Firmowe ubezpieczenie na życie z możliwością dobrowolnego ubezpieczenia siebie, współmałżonka i dzieci.
• Krótko- i długoterminowe ubezpieczenie na wypadek niezdolności do pracy, chroniące część Twoich dochodów, jeśli choroba lub uraz uniemożliwiają Ci pracę.
• 401(k) z dopasowaniem firmy do 4%.
• Płatny urlop rodzicielski, który pomoże Ci w powiększeniu się rodziny.
• Elastyczny płatny czas wolny oraz płatne święta firmowe.
• Sprzęt, którego potrzebujesz, aby wykonywać swoją najlepszą pracę, dostarczony przez Stability AI.…
Źródło: Pracujemy zdalnie (https://weworkremotely.com/remote-jobs/stability-ai-staff-software-engineer-data)
To ogłoszenie pochodzi z feedu partnera. Aplikuj na stronie źródłowej.
Źródło: Stability AI
Ogłoszenie pochodzi od Stability AI.