Data engineer

Apache Hadoop, Hive metastore, Spark, Flink, Airflow, Trino

Задачи:

• Проектирование и разработка конвейеров обработки данных (Data Pipelines).
• Создание и сопровождение решений для пакетной и потоковой выгрузки данных.
• Выстраивание и развитие процессов обработки данных в компании.
• Организация ELT/ETL-процедур.
• Оптимизация производительности процессов обработки данных и работы хранилища.
• Проработка архитектуры хранилища данных

Необходимые знания и компетенции:

• Уверенные навыки создания и оптимизации ETL/ELT процессов.
• Практический опыт проработки архитектуры хранилищ данных.
• Уверенное владение SQL и реляционными СУБД (PostgreSQL, MySQL, Oracle и др.).
• Опыт работы с распределенными системами хранения и обработки данных (Hadoop, Spark, Hive и т. п.).
• Уверенное знание Python.
• Опыт работы с Airflow (написание собственных операторов, сенсоров).
• Опыт работы с различными API.

Мы предлагаем:

• Гибкое начало рабочего дня с 9 до 11.
• Современный технологический стек.

• Возможность повлиять на выстраивание процессов.

• Сможешь поучаствовать в проекте формирования семантического слоя данных.

• ДМС со стоматологией с первого дня оформления.

• 4 day-off в году.

• Корпоративный сервис с поддержкой юриста, психолога и финансового консультанта.
• Промокоды и бонусы от партнеров.
• Электронная корпоративная библиотека.
• Возможность профессионального развития, обучение за счет компании, участие в специализированных конференциях.
• Комфортный большой офис в Москве с тренажерным залом, капсулой сна, свежими овощами/фруктами и бесплатными завтраками.