Наша задача — развитие лотерейной культуры в России. Сделать лотереи по-настоящему национальной традицией, объединяющей поколения, где каждый сможет найти свою игру.
В связи с развитием компании ищем в нашу команду Data engineer.
ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:
- Разработка, поддержка и оптимизация ELT и CDC процессов загрузки данных из источников (bash, python, airflow, peerdb) в соответствии с архитектурными стандартами;
- Построение, поддержка и оптимизация обработки данных в Datalake и сырого слоя DWH (s3, clickouse, dbt, airflow);
- Отслеживание полноты, качества и описания данных из источников (dbt, openmetadata);
- Организация и заключение контрактов на поставку данных из источников (dbt, openmetadata);
- Настройка системы оповещений: Messenger/email уведомления о проблемах качества, SLA нарушениях, падениях загрузок и отчетности (airflow);
- Полное описание объектов сырого слоя: dbt docs, data catalog;
- Ведение переговоров с владельцами источников данных;
- Консультации дата-аналитиков по источникам данных;
- Консультации и обмен знаниями с пользователями об источниках данных.
МЫ ОЖИДАЕМ:
- Знания основ промышленной разработки программного обеспечения и его беспрерывной доставки;
- Знания способов взаимодействия компьютерных систем при передачи данных;
- Знания архитектуры построения озер и хранилищ данных, теорию СУБД;
- Навыки использования Linux на уровне продвинутого пользователя;
- Навыки виртуализации и контейнеризации;
- Знания основ информационной безопасности;
- Опыт организации сбора из внешних и внутренних источников по сетевым протоколам и прикладным API;
- Опыт организации хранения и обработки данных в корпоративном озере и хранилище данных: Minio S3, Clickhouse, PostgreSQL;
- Опыт использования декларативных языков запросов и разметки: SQL (приоритет Clickhouse), regex, jinja, yaml, json;
- Опыт использования Docker и Kubernetes как среды исполнения ПО в Linux окружении;
- Навыки программирования на языках: Python, Bash;
- Владение инструментами Data стека: Aiflow, dbt, PeerDB;
- Владение инструментами локальной разработки: VS Code, DBeaver, Jupyter;
- Владение инструментами CI\CD: Gitlab
- ВАЖНО: готовность пройти испытательный срок (3 месяца) в офисе (Москва).
МЫ ПРЕДЛАГАЕМ:
