Ищем Data Analyst уровня Middle в команду развития банковского хранилища данных (DWH).
Нам нужен специалист, который уверенно владеет аналитикой и SQL, умеет работать с большими объёмами данных и понимает архитектуру корпоративного хранилища, подход Data Vault 2.0 и специфику банковской предметной области.
Особенно ценен практический опыт работы с банковскими сущностями: Главной книгой, сделочной моделью, счетами, проводками, оборотами, остатками и финансовыми показателями, а также понимание принципов их формирования в DWH.
Основные задачи
- Анализ и обработка больших объёмов данных в DWH.
- Написание и оптимизация SQL-запросов в Greenplum.
- Анализ источников данных, выявление взаимосвязей, дубликатов и проблем качества данных.
- Участие в проектировании и развитии моделей данных на основе Data Vault 2.0.
- Анализ бизнес-требований и их трансформация в требования к данным и витринам.
- Проработка маппингов по цепочке: источник → DWH → витрина.
- Участие в разработке и сопровождении бизнес- и аналитических витрин.
- Проверка корректности загрузки данных и проведение сверок между источниками и DWH.
- Автоматизация регулярных процессов обработки данных с использованием Apache Airflow.
- Взаимодействие с разработчиками, архитекторами, бизнес-заказчиками и BI-командами.
- Участие в поиске и устранении проблем качества данных и расхождений.
Что важно знать
Data Vault 2.0
- Понимание основных принципов Data Vault 2.0.
- Понимание назначения и различий Hub, Link и Satellite.
- Знание принципов построения Raw Vault и Business Vault.
- Понимание историчности данных и принципов загрузки изменений.
- Понимание hash key / hash diff и принципов дедупликации.
- Умение читать и анализировать модель данных, построенную по Data Vault 2.0.
- Желателен практический опыт проектирования или разработки объектов Data Vault.
Банковская предметная область
Необходимо понимание базовых банковских процессов и данных:
- Главная книга (ГК);
- сделочная модель;
- бухгалтерские счета и план счетов;
- проводки и корреспонденции счетов;
- дебет и кредит;
- обороты;
- остатки;
- операции и сделки;
- юридические и физические лица;
- продукты и договоры;
- принципы формирования финансовых показателей в DWH.
Большим плюсом будет опыт работы с банковскими АБС и источниками данных, например ЦФТ, а также опыт построения банковских витрин и отчётности.
SQL / Greenplum
- Уверенное знание SQL на уровне Middle.
- Сложные SELECT, JOIN, CTE, оконные функции и подзапросы.
- Понимание принципов работы с большими объёмами данных.
- Умение анализировать планы выполнения запросов.
- Понимание принципов распределения данных и специфики Greenplum.
- Опыт оптимизации SQL-запросов и поиска причин деградации производительности.
- Понимание особенностей партиционирования и распределения таблиц будет плюсом.
Apache Airflow
- Практический опыт работы с Apache Airflow.
- Понимание понятий DAG, task, operator, dependency.
- Умение читать и анализировать существующие DAG.
- Навык создания и сопровождения простых DAG.
- Понимание расписаний, повторных запусков (retries), логирования и контроля ошибок.
- Желательно понимание взаимодействия Airflow с DWH и ETL/ELT-процессами.
Требования к опыту
- 2–4 года опыта в Data Analytics, Data Engineering или DWH.
- Уверенное знание SQL.
- Практический опыт работы с Greenplum или другой MPP-СУБД.
- Знание Data Vault 2.0 на уровне уверенного понимания архитектуры и принципов построения моделей.
- Опыт работы с Apache Airflow.
- Опыт работы с большими объёмами д
