1. Разработка и поддержка data pipeline
Создание и оптимизация ETL/ELT-процессов для интеграции данных из разнородных источников (внешние данные о рисках, файловые хранилища и др.) в Arenadata DB и ClickHouse .
Построение масштабируемых потоков данных для обработки больших объемов информации, включая batch и stream processing.
Обеспечение надежности, производительности и отказоустойчивости pipeline (например, через Apache Airflow, Kafka Streams или собственные механизмы Arenadata).
2. Управление данными и их качеством
Разработка метрик и автоматизированных проверок качества данных (например, выявление дубликатов, аномалий, несогласованных форматов).
Внедрение процедур очистки, нормализации и преобразования данных на этапах ETL.
Участие в создании стандартов хранения данных (Data Governance), включая классификацию, метаданные, политики доступа и сроки хранения.
3. Архитектурное проектирование
Проектирование и поддержка архитектуры хранилищ данных (Data Warehouse / Data Lake) на базе Arenadata DB и Arenadata QM (ClickHouse) .
Оптимизация структур данных в ClickHouse (выбор движков таблиц, партиционирование, TTL, репликация).
Выбор и реализация процедур инкрементальной загрузки данных из источников.
Построение звездных/снежинковых схем для аналитических отчетов и дашбордов.
Интеграция Arenadata DB с ClickHouse для обеспечения гибкости анализа (например, через внешние таблицы или промежуточные слои).
4. Поддержка аналитических процессов
Создание витрин данных (Data Marts) для аналитиков, актуариев и менеджеров.
Оптимизация SQL-запросов в ClickHouse для работы с высоконагруженными сценариями (например, расчет резервов убытков, моделирование рисков).
Автоматизация регулярной отчетности в части подготовки данных (ежедневные/ежемесячные дашборды для руководства).
5. Соблюдение регуляторных требований
Подготовка данных для регуляторной отчетности (например, Solvency II, локальные нормы) с использованием Arenadata DB и ClickHouse.
Обеспечение конфиденциальности и безопасности данных (например, шифрование, аудит доступа к персональным данным).
Документирование процессов хранения и обработки данных в соответствии с требованиями регуляторов.
6. Командная работа и развитие
Наставничество для junior-инженеров данных (code review, обучение, передача экспертизы).
Участие в выборе технологических решений и инструментов для развития аналитической платформы.
Взаимодействие с ИТ-командами и бизнес-подразделениями для выявления потребностей и приоритетов.
Технические навыки:
Готовность брать на себя ответственность за результат, проактивность и умение задавать правильные вопросы, здоровый перфекционизм и скептицизм: любовь к структурированию, систематизации.
Системное логическое мышление, умение описывать алгоритмы действий в процессах, лидерские качества, умение распределять задачи в команде, отличные коммуникативные навыки для взаимодействия с бизнесом и ИТ, аналитическое мышление и внимание к деталям.
