Наша команда развивает Единое хранилище данных по всем процессам Центрального банка Российской Федерации. В нем консолидируется почти вся информация о финансовом рынке, необходимая для контроля, регулирования и прогнозирования развития экономики страны.
Мы создаем на базе Единого хранилища данных приложения для анализа и визуализации информации, которая необходима для принятия решений о денежно-кредитной политике Российской Федерации.
На проект реализации Комплексной системы мониторинга финансового рынка приглашаем дата инженера (потоковая загрузка данных).
Технологический стек:
- Oracle
- Click House
- Hadoop
- Informatica
- Postges Pro
- ArenadataDB / Arenadata Hadoop
- Apache Kafka
- Apache Spark Streaming
- Apache NiFi
Обязанности:
- построение и развитие витрины данных для аналитических задач с учетом требований на загрузку данных в витрину, а также требований политик доступа к данным;
- поставка данных в режиме реального времени с учетом высокой нагрузки;
- контроль решения подрядчика в области потоковой загрузки данных на основе имеющихся документов, определяющих требования к разрабатываемому/модернизируемому решению (функциональные требования, техническое задание, запрос на изменение и пр.);
- участие в работах по проектированию архитектуры решения, обеспечивающей соответствие целевой ИТ-архитектуре БР;
Требования:
- высшее техническое образование;
- релевантный опыт работы от 3-х лет;
- экспертные знания в области разработки и проектирования высоконагруженных потоков данных, обеспечивающих поставку данных в режиме реального времени (в сжатые временные отрезки);
- экспертные знания в области различных методов и технологий построения хранилищ и витрин данных;
- приветствуется опыт работы в финтехе;
- опыт работы с инструментами потоковой загрузки данных (Apache Kafka, Apache Spark Streaming);
- опыт работы с платформами для хранения и распределенных вычислений данных в режиме реального времени (такие как Hazelcast, Redis или аналоги);
- опыт работы с PostgreSQL, ClickHouse , HDFS;
- базовые знания по архитектуре и инструментам построения ETL для ХД (Informatica, MS SSIS, иное);
- навык работы с любым ER-средством;
- знание XML и XSD-спецификаций;
- знание процесса непрерывного развертывания и опыт установки изменений в рамках конвейера CI/CD;
- навык работы со средствами версионного контроля;
Условия:
- гибридный режим работы;
- компенсация релокации;
