Инженер по обработке данных – интеграция облаков и SaaS

Расположение
Наш инженер по данным будет неотъемлемой частью нашей команды исследований и разработок. Эта должность осуществляется удаленно в качестве штатного сотрудника в Великобритании, Ирландии, Эстонии, Нидерландах, Швеции и Израиле. Мы также открыты для подрядчиков в Восточной Европе и Португалии.

Кто мы
DoiT — глобальная технологическая компания, которая работает с облачными организациями, чтобы использовать облако для стимулирования роста бизнеса и инноваций. Мы объединяем данные, технологии и человеческий опыт, чтобы обеспечить нашим клиентам хорошо продуманную и масштабируемую работу — от планирования до производства.

Предоставляя DoiT Cloud Intelligence, единственное решение, которое объединяет передовые технологии с человеческим интеллектом, мы помогаем нашим клиентам решать сложные мультиоблачные проблемы и повышать эффективность.

Имея многолетний опыт работы в мультиоблачных средах, мы специализируемся на Kubernetes, GenAI, CloudOps и т. д. Будучи отмеченным наградами стратегическим партнером AWS, Google Cloud и Microsoft Azure, мы сотрудничаем с более чем 4000 клиентами по всему миру.

Возможность
Расходы на облако больше не ограничиваются только AWS, Google Cloud и Azure. Наши клиенты теперь тратят большую и растущую долю своих расходов на технологии через платформы SaaS, облака данных и поставщиков искусственного интеллекта — каждый со своим собственным API для выставления счетов, собственной моделью ценообразования и собственным представлением о том, что означает «позиция». Платформа интеграции DoiT — это то, что превращает все это в единую, заслуживающую доверия картину затрат.

Мы нанимаем инженера по обработке данных, который будет отвечать за данные. Ваша задача — расширить прозрачность — привлечь на платформу больше расходов клиентов от большего числа поставщиков с уровнем качества, на котором люди смогут принимать финансовые решения. Ландшафт поставщиков постоянно меняется, так что это настоящая, постоянная собственность с короткой линией от вашей работы до того, что видят клиенты.

Вы будете работать с искусственным интеллектом с первого дня. Мы ожидаем, что вы будете использовать ИИ во всем рабочем процессе, а не в качестве случайного автозаполнения, и будете иметь реальное мнение о том, где он заслуживает своего места.

Обязанности

• Расширение охвата поставщиков. В этом суть роли. Создавайте новые интеграции со сторонними API-интерфейсами для выставления счетов и использования и сделайте больше расходов наших клиентов видимыми на платформе. Поддерживайте актуальность существующих интеграций, поскольку поставщики меняют свои API и модели ценообразования, что они делают постоянно. Снизьте предельные затраты на следующую интеграцию, чтобы покрытие масштабировалось быстрее.

• Работает с искусственным интеллектом. Используйте ИИ ежедневно на протяжении всей своей работы: исследуйте незнакомые кодовые базы и сторонние API, подходы к созданию прототипов, генерацию и проверку кода, отладку, написание тестов и создание документации. Расскажите о том, что инструменты могут сделать для этой базы кода, и вынесите суждение о том, где ИИ повышает скорость, а где человеку все еще приходится удерживать планку качества.

• Корректность и полнота данных. Контролируйте качество данных, создаваемых нашей интеграцией: дублирование, пробелы и условия конкуренции при приеме и повторной обработке, дедупликация расходов, которые также поступают через облачные рынки, а также поддержка договорных тарифов клиентов, а не общедоступных цен. Создайте системы проверок и сверок, которые позволят нам доказать, что цифры верны, а не надеяться, что они верны.

• Нормализация среди поставщиков. Проектируйте и создавайте модели, которые позволяют сравнивать десятки счетов поставщиков разной формы — согласованные единицы измерения, валюты, временная детализация, таксономия ресурсов и услуг, а также категории затрат.

• Владение трубопроводом. Владение механизмами оркестрации, планирования и обратной засыпки для сквозных конвейеров приема, включая превращение обратной засыпки в рутинную, безопасную операцию самообслуживания.

• Сотрудничество и решение проблем. Работайте с продуктом, службой поддержки и инженерами, опираясь на эти данные, чтобы понять, где есть пробелы. Предложите работу, которую, по вашему мнению, следует осуществить; вы здесь не для того, чтобы ждать спецификации.

Квалификация

• Более 3 лет профессионального опыта в области разработки данных или на должностях, связанных с обработкой больших объемов данных, а также владение производственными конвейерами, от которых зависят другие люди.

• Сильный SQL — вы можете писать, читать и рассуждать о выполнении нетривиальных аналитических запросов.

• Практический опыт создания и эксплуатации конвейеров данных с помощью структуры оркестрации. Очень желателен Dagster или Airflow; аналогичный опыт работы с Prefect, dbt или аналогичным инструментом важен, если вы готовы работать в Dagster/Airflow

• Уверенный Python или другой язык, который вы свободно используете для работы с данными.

• Опыт работы с облачным хранилищем данных или аналитическим магазином (BigQuery, ClickHouse, Snowflake, Redshift или аналогичный)

• Опыт интеграции сторонних API REST, включая обработку реалий: разбиение на страницы, ограничения скорости, частичные сбои, поздние поступления и пересчет данных, а также поставщиков, чья документация неверна.

• Настоящее чутье на правильность данных. Вы из тех инженеров, которые сверяют итоги, подвергают сомнению цифры, которые кажутся правдоподобными, и строят утверждения, а не предполагают.

• Стиль работы, дополненный искусственным интеллектом: вы уже используете инструменты искусственного интеллекта в своем инженерном процессе и можете конкретно говорить о том, что вы от них получили.

• Опыт разработки решений в облаке и/или использования облачных сервисов.

• Отличные коммуникативные навыки на английском языке, как письменные, так и устные.

• Самоорганизованный, целеустремленный и самомотивированный; уверенный, основательный и настойчивый

Бонусные баллы

• Опыт работы с данными выставления счетов в облаке или SaaS — экспорт затрат и использования AWS/GCP/Azure, выставление счетов на рынке или спецификация FOCUS.

• Знакомство с Go, который мы используем во всех наших серверных сервисах.

• Опыт работы с системами, которые предъявляют финансовые требования или требования к корректности аудиторского уровня – системы выставления счетов, учета, сверки доходов или выставления счетов.

• Знакомство с практиками FinOps или облачными продуктами управления финансами.

• Степень бакалавра/бакалавра или эквивалентный практический опыт.

Вы Делатель?
Будьте самим собой. Работайте на своих условиях. Измените ситуацию.…

Источник: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/senior-full-stack-engineer-ai-cost-visibility-greenhouse/data-engineer-cloud-saas-integrations-140820)