Старший инженер данных

О Рифте

Ryft — регулируемый платежный посредник и авторизованная платежная организация, создающая инфраструктурный уровень для современных коммерческих платформ.
Мы даем возможность торговым площадкам, платформам SaaS и многосторонним экосистемам встраивать и монетизировать платежи нативно. Наша технология обеспечивает адаптацию, соблюдение требований, оркестрацию, разделение платежей и распределение доходов, что позволяет нашим партнерам сосредоточиться на росте, в то время как мы управляем сложностью.

Сейчас мы вступаем в следующий этап масштабирования, осваивая новые вертикали и создавая определяющую категорию платформу встроенных платежей.

О работе

Мы нанимаем старшего инженера по данным, который будет отвечать за все, что происходит с нашими данными после их записи. Граница с разработкой программного обеспечения проводится в одну линию: им принадлежит все до записи, вам принадлежит все после этого — захват, прием, бронзовый уровень и службы данных, которые работают поверх него. Вы создадите платформу сбора данных об изменениях и управляемую событиями платформу, которая будет надежно получать данные из наших исходных систем и передать чистый, законтрактованный бронзовый уровень команде аналитиков.
Это должность старшего индивидуального сотрудника, который ежедневно занимается практическим делом вместе с руководителем отдела данных и руководителем отдела аналитики. Первый год — это тяжелая работа: CDC и прием событий в S3, а также комплексная миграция нашего склада. Наш текущий стек — это AWS, RDS Postgres, Dagster, dbt и Superset.

Это гибридная должность, расположенная в центре Манчестера, с работой в офисе 2 дня в неделю.

Что ты будешь делать

• Создайте уровень приема: перехватывайте потоки изменений из наших транзакционных хранилищ в S3 вместе с событиями предметной области, которые генерируют наши службы, чтобы хранилище отражало как текущее состояние, так и то, что туда попало.

• Владение бронзовым слоем: надежное хранение данных с известной задержкой, при этом эволюция схемы обрабатывается намеренно, а не сохраняется. Воспроизведение и заполнение должны быть рутинными операциями.

• Держите контракт на границе: согласуйте с отделом разработки программного обеспечения, что пересекает запись, в какой форме и какое уведомление при изменении, а затем обеспечьте выполнение этого на своей стороне, чтобы изменение схемы было обработанным событием, а не сбоем.

• Обеспечить миграцию хранилища. Отказ от Postgres является приоритетом на ближайшие двенадцать месяцев. Вы будете владеть им от начала до конца, от оценки до перехода, и ваше мнение о целевой платформе будет иметь реальный вес.

• Запускайте то, что вы создаете: развертывания, поведение в рабочей среде, наблюдаемость, стоимость выполнения и надежность. Мы расширяемся в ЕС, поэтому региональное размещение данных с самого начала является ограничением проектирования, а не модернизацией.

Что мы ищем

• Несколько лет создания и эксплуатации платформ производственных данных, при этом комфортно быть самым старшим инженером на платформе изо дня в день.

• Реальная глубина производства AWS, включая S3, IAM, сети, а также службы приема и обмена сообщениями (Kinesis/Firehose, EventBridge, SNS, SQS, Lambda или эквивалентные).

• Практический сбор данных об изменениях и прием на основе событий — вы понимаете гарантии доставки, идемпотентность, порядок, дублирование и воспроизведение, а также то, сколько стоит каждое из них, чтобы добиться правильного результата.

• Мощный производственный Python и SQL, облачное хранилище (Snowflake, Redshift, BigQuery или аналогичный) и оркестратор (Dagster, Airflow или аналогичный).

• Вы запустили то, что создали, вас вызвали, когда оно сломалось, и впоследствии изменили что-то структурное — Git, запросы на включение, CI/CD и тестирование — это настройки по умолчанию, а не стремления.

• Комфортная работа в инфраструктуре, которой вы не владеете, и возможность договариваться о том, что вам нужно, с командами, чьи невыполненные работы вы не контролируете.

• Прагматичность: вы отправляете работающие вещи и знаете, когда простое решение сейчас лучше элегантного позже.

Приятно иметь

• Опыт платежей или финансовых технологий, особенно транзакций, реестров или данных сверки.

• Измените сбор данных из DynamoDB или аналогичного хранилища.

• Миграция склада или платформы уже позади.

• Знакомство с dbt, чтобы вы знали, как потребляются ваши выходные данные

• AWS с несколькими учетными записями, работа с резидентностью данных, контракты данных или реестры схем.

Что вы получите

• Почти новая платформа в платежной компании, регулируемой FCA, с четко очерченными и согласованными границами собственности. Вы потратите время на создание, а не на споры о том, чья это работа.

• Прямое взаимодействие с высшим руководством с реальным влиянием на целевую архитектуру.

• Место в быстрорастущей, хорошо финансируемой финтех-компании в действительно недостаточно обслуживаемой части рынка платежей.

Найдите больше англоговорящих вакансий в Великобритании на Arbeitnow

Источник: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/ryftpay/senior-data-engineer-manchester-90629).