Инженер сопровождения дата-продуктов / Data Engineer

О компании

WMT group - аккредитованная IT-компания, занимаемся как разработкой собственных продуктов на стыке ML и AI, которые делают мир лучше, так и реализуем проекты разработки в крупных компаниях в форматах outstaff и outsource. У нас колоссальный опыт в разработке продуктов различной сложности, но при этом, мы не только создаем код - мы работаем с людьми. Наша уникальность в том, что мы не просто IT-компания, мы пространство, в котором тебе всегда будет чем заняться, чему научится, с кем пообщаться, получить помощь и поддержку в любой ситуации.

Описание вакансии

О проекте

Ищем инженера по контролю качества данных в департаменте продвинутой аналитики. Команда занимается сопровождением дата-продуктов и обеспечением качества данных в критически важных процессах.

Задачи

• Сопровождение и анализ существующих процессов загрузки
• Разбор технических контролей качества данных
• Тестирование и установка доработок в продуктивный контур

Требования

Обязательные

• SQL
• Python
• Apache Spark
• Hadoop/S3/S3-like
• Apache Airflow
• Parquet/ORC
• Понимание ETL процессов
• Умение читать код для понимания трансляции данных
• Навыки работы с Jira + Confluence или аналогичными
• Git
• CI/CD
• XML, JSON
• Навыки системного анализа и тестирования
• Базовое знание работы с РСУБД
• Базовое знание Kafka

Будет плюсом

• Знание Apache Iceberg
• Опыт работы с Oozie

Что мы предлагаем

• Мы предоставим тебе возможность развиваться.
• Оплатим внешние курсы, дадим доступ к неограниченному количеству обучающих материалов.
• Мы считаем, что наряду с развитием интеллектуальным, здорово, когда человек уделяет время и физической форме, поэтому представляем возможность занятий спортом вместе с компанией.
• Можно с уверенностью сказать, что наша компания является уникальной благодаря тому, что ставит работу своих сотрудников в приоритет, команда считается основной ценностью для нас. Индивидуальный соц. пакет.
• Наша Служба заботы поможет тебе получить бенефиты, которые актуальны именно для тебя.