Один из крупнейших банков РФ.
\n
Мы ищем разработчика в команду по работе с данными. Специалист будет участвовать в разработке и поддержке ETL-процессов, а также в развитии решений для хранилищ данных на базе современных Big Data технологий.
\n
Основные задачи:
\n
\n- Разработка и поддержка ETL-пайплайнов с использованием Spark (DataFrame API).
\n- Работа с данными в различных источниках и СУБД.
\n- Анализ данных, выявление и устранение ошибок в процессах загрузки.
\n- Участие в развитии решений DWH / Data Lake.
\n- Взаимодействие с командами сопровождения: постановка задач и подготовка инструкций.
\n- Участие в тестировании, выполнение тестовых запросов совместно с командами сопровождения.
\n- Работа с системами контроля версий и процессами CI/CD.
\n
\n
Требования:
\n
\n- Опыт разработки с использованием SQL, Spark, Hadoop, Hive.
\n- Опыт работы с различными СУБД: Oracle, PostgreSQL, MySQL, MariaDB, MS SQL и др.
\n- Опыт разработки ETL-процессов.
\n- Понимание принципов построения DWH / Data Lake.
\n- Знание процессов CI/CD и опыт работы с Git.
\n- Умение анализировать данные, выявлять причины ошибок и формулировать гипотезы.
\n- Умение ставить задачи и писать инструкции для команд сопровождения.
\n- Уверенное владение Excel.
\n
\n
Будет плюсом:
\n
\n- Опыт работы с большими объемами данных.
\n- Навыки оптимизации SQL-запросов.
\n- Опыт работы с распределёнными системами обработки данных.
\n
