Инженер данных AWS (младший сотрудник)

Mactores — агентская фирма по модернизации AWS. Большая часть работ по модернизации не реализуется, останавливается в пилотных проектах, задерживается на год или оказывается в три раза дороже бюджета. Мы существуем для того, чтобы это реализовать: производственные системы работают, устаревшее оборудование выведено из эксплуатации, результаты измерены. Наша доставка построена на Aedeon, агентской платформе, созданной дочерней компанией основателей Mactores, которая берет на себя повторяющиеся 60–70% работы по взаимодействию, обнаружению, сопоставлению зависимостей, проверке, генерации тестов, за которые традиционные консалтинговые компании выставляют счета за человеческие часы. Остальное: архитектура, решение и переключение в сроки, которые мы фиксируем в контракте, принадлежат передовым инженерам.

Эта роль входит в состав нашего основного направления «Модернизация платформы данных»: консолидация и перенос инфраструктуры данных клиентов на AWS за недели, а не кварталы. Клиенты приходят к нам с конвейерами, которым никто не доверяет, с показателями, с которыми никто не согласен, и со складами, которые задерживают каждый новый бизнес-вопрос. Вы создадите продукты обработки данных, которые исправят это — работая с руководителями бизнеса, аналитиками и специалистами по обработке данных, чтобы понять предметную область, а затем поставите конвейеры и модели, которые будут работать в рабочей среде.

Поскольку Aedeon занимается повторяющимся обнаружением источников слоев, сопоставлением схем и средствами проверки, вам не придется тратить свое начало карьеры на аудит электронных таблиц. Вы потратите их на написание кода, который доходит до производства, и на изучение мнений инженеров, владеющих переключением. Качество данных здесь не является флажком; это продукт.

Что ты будешь делать?

• Напишите эффективный код PySpark и Amazon Glue, который будет отправлен в рабочую среду.

• Написание SQL в Amazon Athena и Amazon Redshift.

• Приобретайте новые технологии и методы и применяйте их для решения реальных бизнес-задач.

• Работайте между инженерными и бизнес-группами над созданием продуктов и услуг обработки данных, которые действительно будут использоваться людьми.

• Реализуйте проекты вместе с командой и своевременно получайте обновления для клиентов.

Что мы ищем?

• Опыт работы с Apache Spark, PySpark и Amazon Glue от 1 до 3 лет.

• Более 2 лет опыта написания заданий ETL с использованием PySpark и SparkSQL.

• Более 2 лет опыта работы с SQL-запросами и хранимыми процедурами.

• Глубокое понимание API Dataframe и функций преобразования, поддерживаемых Spark 2.7+.

Вам будет отдано предпочтение, если у вас есть

• Предыдущий опыт работы с AWS EMR, Apache Airflow.

• Сертификаты Сертифицированный AWS по большим данным — специальность ИЛИ Сертифицированный инженер по большим данным Cloudera ИЛИ Сертифицированный инженер по большим данным Hortonworks

• Понимание проектирования DataOps

Как мы работаем?

Мы используем модель опережающего развертывания. Инженеры объединяются с командой заказчика, получают результаты от открытия до производства и лично несут обязательства по доставке. Эдеон поглощает масштаб; инженеры впитывают суждения; контракт поглощает риск. Как сотрудник, вы будете работать внутри этой модели с первого дня поставки вместе со старшими инженерами, а не наблюдать за ней со скамейки запасных. Культура носит непринужденный характер и избегает жестких корпоративных привычек. Мы заботимся о том, что будет отправлено, и позволяем вам быть самим собой, пока вы это отправляете.

Компенсация

Дополнительная информация

Жизнь в Макторесе

Мы заботимся о создании культуры, которая действительно изменит жизнь каждого Макторианца. Наши 10 основных принципов лидерства, которые уважают принятие решений, лидерство, сотрудничество и любознательность, определяют нашу работу.

1. Будьте на шаг впереди

2. Предлагайте лучшее

3. Будьте смелыми

4. Обратите внимание на детали

5. Наслаждайтесь вызовом

6. Будьте любопытны и действуйте

7. Возьмите на себя лидерство

8. Владейте этим

9. Обеспечьте ценность

10. Будьте готовы к сотрудничеству

Мы хотели бы, чтобы вы прочитали более подробную информацию о культуре труда на https://mactores.com/careers.

Путь к присоединению к команде Mactores

В Mactores процесс подбора персонала состоит из трех отдельных этапов:

Оценка перед приемом на работу:

Серия оценок вашего технического мастерства и пригодности для этой роли.

Управленческое собеседование: менеджер по найму проводит с вами несколько обсуждений продолжительностью от 30 минут до часа каждое, охватывающих технические навыки, практический опыт, лидерский потенциал и общение.

Обсуждение HR: во время этого 30-минутного сеанса у вас будет возможность обсудить предложение и следующие шаги с членом HR-команды.

Mactores предоставляет равные возможности во всех сферах трудоустройства. Мы не проводим дискриминацию по признаку расы, религии, пола, национального происхождения, возраста, инвалидности, семейного положения, военного статуса, генетической информации или любой другой категории, защищаемой федеральными, государственными и местными законами. Это относится ко всем аспектам трудовых отношений, найму, компенсации, продвижению по службе, переводам, дисциплинарным взысканиям, увольнениям, обучению, а также социальным и развлекательным программам.

Примечание. Пожалуйста, ответьте на как можно больше вопросов с помощью этого заявления, чтобы ускорить процесс найма.

Источник: Jobicy (https://jobicy.com/jobs/151141-aws-data-engineer-associate).