Главный инженер Платформы качества данных

Институциональная структура рынка цифровых активов
Основанная в 2018 году, Talos предоставляет торговые технологии институционального уровня для глобального рынка цифровых активов, обеспечивая поддержку многим крупным игрокам в криптоэкосистеме. Наша миссия ясна: способствовать массовому внедрению цифровых активов путем плавного подключения учреждений к экосистеме цифровых активов. Мы стремимся создать самую инновационную и надежную платформу в мире, поддерживающую весь жизненный цикл торговли.
В Талосе вы найдете среду, которая поощряет доброту и уважение, ценит разнообразие точек зрения и поддерживает инклюзивность на каждом шагу. Мы верим, что каждый член нашей команды обладает неоценимыми знаниями и способностями, которые помогают Talos двигаться вперед. В нашем стремлении к совершенству мы развиваем культуру доверия, честности, сотрудничества и взаимного роста.
Мы — сплоченная, но глобально распределенная команда высококвалифицированных инженеров и бизнес-лидеров с центрами в Нью-Йорке, Лондоне, Сингапуре и на Кипре. Вы станете частью гибридной среды, где ваши уникальные таланты и идеи сыграют решающую роль в создании чего-то экстраординарного.

Главный инженер Платформы качества данных
Вы будете контролировать правильность данных в Талосе. Вы будете руководить командой инженеров по обеспечению качества данных, управлять операциями с данными BAU и владеть справочными данными и основными данными безопасности, а также конвейерами и платформой, которые их доставляют.
Наша цель: данные, которые мы возвращаем клиентам, всегда верны, и мы находим дефекты раньше, чем это сделает клиент.
Вы присоединитесь к небольшой команде с мандатом работать независимо от разработки продукта и бросать ей вызов. Команды инженеров делают предположения о том, как ведут себя их системы. Ваша задача — проверить эти предположения и доказать или опровергнуть их с помощью доказательств.

Обязанности

• Ведущий специалист по обеспечению качества данных на основе искусственного интеллекта.

• Постоянно проверять каждую конечную точку, обращенную к клиенту. В центре внимания наши API REST и WebSocket. Облачная доставка (S3, Snowflake, Databricks) также входит в объем работ. Подтверждайте правильность информации, используя независимые источники правды, в любой среде и при любых правах клиента.

• Обложка потоковой передачи, а также запрос/ответ. Для WebSocket это означает:

• определение последовательности и обнаружение пробелов

• Согласованность приращения снимка

• переподключитесь и воспроизведите правильность

• устаревание живых подписок

• соглашение между потоковым представлением и представлением REST того же состояния.

• Используйте адаптивное обнаружение, а не статические пороговые значения. Изучите базовые показатели для каждой конечной точки и для каждого рынка и позвольте им корректироваться как «обычные» изменения. Установленные вручную ограничения становятся шумными, устаревают и учат людей игнорировать оповещения.

• Применяйте LLM и агентские инструменты для создания проверок на основе спецификаций и схем API, поддержания их актуальности по мере изменения продукта и сортировки предупреждений до того, как их увидит человек. Знайте, когда детерминированное правило, инвариант или согласование между источниками являются лучшим инструментом.

• Проверьте устойчивость и нагрузку. Разработайте нагрузочные тесты, тесты производительности и режимы отказа.

• Когда вы обнаружите ошибку, сообщите о ней команде-владельцу, имея достаточно доказательств, чтобы они могли принять меры. Доведите его до разрешения, затем добавьте проверку, которая бы поймала его раньше.

• Измеряйте и публикуйте покрытие конечных точек и полей, время обнаружения, уровень обнаружения до клиента и уровень ложноположительных результатов.

• Запуск управления данными

• Создавать и поддерживать каталог наших активов данных и API, охватывающий как исходных, так и последующих потребителей. Поддерживайте понимание активов, того, как они используются и что ломается при их изменении.

• Собственные инструменты управления данными, такие как OpenMetadata.

• Собственные справочные данные и основные данные безопасности.

• Возглавьте создание главной платформы безопасности нового поколения, а затем запускайте ее изо дня в день: новые списки, сопоставление символов между площадками, а также увеличение и сокращение спецификаций.

• Разработать процессы безопасного обновления записей безопасности с проверкой и откатом.

• Расширить охват всей компании.

• Со временем расширить охват качества данных за пределы клиентских API, чтобы:

• торговые сигналы

• предторговая аналитика

• Постторговый анализ клиента

• ПМС-аналитика

Квалификация

• Послужной список ведущих групп по обеспечению качества данных или данных, предпочтительно по рыночным данным или другим высокопроизводительным данным в режиме реального времени.

• Глубокое понимание потоковой передачи и поведения API: пропускная способность, семантика WebSocket, упорядочивание, восстановление и режимы сбоя.

• Опыт инвентаризации и комплексного тестирования большого API и поверхности данных.

• Практический опыт управления данными: каталогизация, происхождение, владение.

• Опыт тестирования производительности и нагрузочного тестирования распределенных систем.

• Сильная инженерная подготовка. Вы разрабатываете платформы, а не сценарии в рамках задания cron, и строите их на общей инфраструктуре, а не создаете одноразовые инструменты.

• Практический опыт применения LLM и агентных инструментов для решения инженерных задач.

• Наш стек: Flink, Doris, Dagster и Spark, а также OpenMetadata (или его эквивалент, например Apache Atlas). Опыт работы с сопоставимыми инструментами не менее важен.

Посмотрите эти видео и ссылки, чтобы узнать больше о Талосе и нашей культуре!

• Важная статья: снимок «Талоса» от DRW

• Подкаст: выпуск 2023 года с сооснователями Антоном и Итаном.

• Веб-сайт: ознакомьтесь с Talos: продукты, инвесторы, команда и многое другое.

• Тематические исследования: реальные примеры клиентских решений.

• Награды: Talos выигрывает премию Hedgeweek Global Digital Assets Award 2024.

• Культура: отмеченная наградами, входящая в список Forbes, команда с низким уровнем оттока.

Андреессен Горовиц о Talos: «Компания, которая лучше всего подходит для стимулирования институционального внедрения, — это та, которая глубоко понимает традиционные рынки капитала и достаточно дальновидна, чтобы полностью осознать перспективы криптовалюты. Talos — именно такая компания».

Преимущества
Вы также получите широкий спектр конкурентных преимуществ, независимо от вашего местоположения, в рамках нашей теплой, гостеприимной и амбициозной корпоративной культуры. Некоторые из наших преимуществ включают в себя:

• Пенсионные взносы…

Источник: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/talos-trading/principal-engineer-data-quality-platform-london-365915).