Ищем в PlaysDev Data Engineer для развития платформы данных: оптимизация процессов, внедрение стандартов и развитие архитектуры.
Задачи ❗️
- Развитие и доработка функционала Data Platform
- Проработка и реализация новых подходов к разработке пайплайнов
- Оптимизация процессов загрузки и обработки данных
- Проектирование сложных интеграций и потоков данных
- Формирование и развитие стандартов разработки (логирование, структура DAG, подходы к разработке)
- Контроль качества реализации пайплайнов
- Ведение и развитие технической документации
- Обучение и менторинг команды
- Участие в архитектурных решениях
Требования ❗️
- Экспертный SQL
- Продвинутый Python
- Глубокий опыт работы с Apache Airflow
- Опыт работы с MPP СУБД (Greenplum или аналогами)
- Опыт проектирования ETL/ELT процессов
- Понимание архитектуры Data Platform / DWH
- Опыт оптимизации производительности систем
- Понимание Data Governance и Data Quality
