Обязанности:
Развитие новой функциональности:
• Разрабатывать новые ETL/ELT-процессы обработки и доставки данных из корпоративных систем в ядро хранилища. Модифицировать и улучшать существующие процессы;
• Разрабывать dbt модели;
• Разрабывать DAG в Airflow, настраивать контроль SLA, мониторинг и алерты, обрабатывать инциденты при сбоях загрузок;
• Проектировать и оптимизировать таблицы и витрины в ClickHouse для аналитичских команд и BI-систем;
• Разрабатывать контроли качества данных используя фреймворки Great Expectations и dbt-tests;
• Описывать технические части итоговой работы в документации.
Улучшение того, что уже есть:
• Исследовать проблемные места в текущей реализации и предлагать способы решения проблем;
• Проводить оптимизацию задач с недостаточной производительностью;
• Проводить рефакторинг кода;
RnD и взаимодействие со смежными командами:
• Проводить исследования различных инстументов для работы с данными;
• Взаимодействовать с командами смежных систем для выбора оптимальных решений при проектировании изменений.
Требования:
Будет плюсом:
Условия:
