DWH Инженер

Обязанности:

• Проектирование и администрирование CI/CD пайплайнов в GitLab CI / Jenkins для полного жизненного цикла DWH: моделирование, разработка, тестирование, деплой, эксплуатация витрин и загрузочных процедур.
• Разработка скриптов автоматизации на Bash и Python для загрузки, трансформации данных, проверки качества и оптимизации запросов.
• Контейнеризация компонентов DWH-ландшафта (Docker), оркестрация в Kubernetes, настройка Helm-чартов и стратегий развертывания и масштабирования.
• Управление инфраструктурой как код (Terraform, Ansible): описание сетевой и серверной конфигурации, баз данных, очередей сообщений и сервисов DWH-ландшафта, поддержка единообразия сред, настройка ресурсов, резервирование, обновления и патчи, контроль доступности и производительности.
• Администрирование гибридного ландшафта: Arenadata Cluster Manager (ADCM) — установка, настройка и управление data-сервисами компании.
• Настройка и поддержка Apache Airflow для оркестрации ETL/ELT процессов.
• Администрирование инструментов ETL/ELT: Apache NiFi, Trino. Работа с Arenadata Streaming (ADS) на базе Apache Kafka и Apache NiFi для потоковой обработки данных в режиме реального времени.
• Администрирование Apache Iceberg для больших хранилищ данных. Работа с S3-совместимыми хранилищами.
• Реализация механизмов контроля качества данных: валидаторы, тесты данных, контроль историчности, аудит загрузок, data lineage в рамках CI/CD и эксплуатационных пайплайнов.
• Настройка систем мониторинга Prometheus и построение дашбордов Grafana для DWH: метрики загрузок, задержки, объёмы, производительность запросов, использование ресурсов, алерты по SLA/SLO.
• Внедрение централизованного логирования и наблюдаемости (Elasticsearch/Logstash/Kibana или альтернативные стеки): трассировка ETL пайплайнов, корреляция событий и аналитика инцидентов.
• Автоматизация типовых операционных процедур: ротация логов, очистка временных таблиц, реиндексация, анализ планов выполнения запросов, пересчёт агрегатов.
• Управление доступом, настройка SSL/шифрования, обновление и патчинг компонентов. Обеспечение аутентификации, авторизации и применения протоколов шифрования.

Требования:

• Высшее техническое / ИТ образование.
• Опыт работы в роли DevOps-инженера от 2 лет.
• Уверенное знание Linux и Bash.
• Опыт написания скриптов автоматизации на Python.
• Опыт работы с системами контроля версий (Git), понимание Gitflow.
• Опыт работы с CI/CD системами (GitLab CI, Jenkins или аналоги). Понимание подходов: pipeline stages, artifacts, caching.
• Опыт работы с Docker, понимание принципов контейнеризации.
• Понимание работы реляционных СУБД (MS SQL Server или PostgreSQL).
• Знание принципов работы REST API.
• Знание сетевых взаимодействий: TCP/IP, DNS, VPN, Firewalls.
• Понимание основ аутентификации, авторизации и протоколов шифрования.

Будет преимуществом:

• Опыт работы с Kubernetes и Helm.
• Опыт работы с Terraform, Ansible.
• Опыт работы с Apache Airflow, Kafka, NiFi, Trino, Iceberg.
• Опыт работы с Prometheus, Grafana, ELK.
• Понимание методологии Data Vault 2.0.
• Опыт работы с Big Data стеком (Hadoop, Greenplum, ClickHouse) или продуктами Arenadata.
• Опыт использования принципов GitOps.
• Опыт работы с Low-Code платформами и инструментами кодогенерации.
• Опыт работы с BI-серверами и инструментами визуализации.

Условия:

• Участие в инновационных, амбициозных проектах и задачах.
• Возможность профессионального развития и роста.
• Внутрикорпоративная культура, наполненная традициями.
• Трудоустройство в полном соответствии с ТК РФ.
• Добровольное медицинское страхование согласно внутренней Политике Банка.
• Корпоративные скидки на товары и услуги партнеров в городах присутствия.
• Место работы в шаговой доступности от ст. м Кожуховская.
• График работы: пятидневная рабочая неделя (пн-чт с 9:00 до 18:00, в пятницу с 9:00 до 16:45); формат работы обсуждается индивидуально;
• Условия оплаты обсуждаются индивидуально.