Data Engineer

Вам предстоит:

• Строить и поддерживать прикладные витрины данных поверх таблиц хранилища (Trino, ClickHouse) под задачи аналитики и дашбордов;
• Разрабатывать и сопровождать пайплайны и регулярные выгрузки, оркестрация в Airflow (написание и поддержка DAG-ов);
• Чистить, дедуплицировать и контролировать качество данных на уровне витрин;
• Алертинг в случае каких-то проблем с данными;
• Вести код в GitLab: ветки, мерж-реквесты, ревью;
• Поддерживать документацию по витринам и пайплайнам;
• Работать в связке с владельцем DWH: они отдают слои данных, вы строите прикладной слой поверх.

Вы нам подходите, если:

• Владеете SQL на продвинутом уровне (оконные функции, CTE, оптимизация запросов) и имеете опыт работы с Trino/Presto/ClickHouse;

• Разрабатываете ETL-процессы на Python (pandas, requests, работа с API), поддерживаете DAG-и в Airflow и владеете базовым GitLab (ветки, мерж-реквесты);

• Понимаете инфраструктурную часть: поддерживаете работу БД, управляете «железом», знаете базовый Docker и понимаете, как данные попадают в Trino через Spark (умеете читать и дебажить чужой код);

• Работаете с трансформациями данных (опыт с dbt или аналогичными инструментами) и визуализацией (опыт с BI-системами);

• Имеете опыт в retail, e-commerce, FMCG или beauty и понимаете мастер-данные, НСИ и ведение справочников;

• Владеете базовым Excel на уровне, достаточном для оперативной работы с выгрузками и проверки данных.