Компания Cinimex – разработчик ПО и системный интегратор. Мы работаем с российскими банками ТОП-20, ритейлерами, производственными и добывающими компаниями. К своему 29-летию компания имеет уникальный опыт разработки программных решений и продолжает развивать свою экспертизу: разработка на микросервисной архитектуре, машинное обучение и искусственный интеллект, IoT, продуктовое направление и автоматизация предприятий.
Сейчас мы в поисках Data Engineer на проект по миграции BI-отчетности из Power BI в DataLens.
Задачи:
- Разработка SQL-скриптов в ClickHouse для загрузки и преобразования данных между слоями хранилища: Raw, Core, Data Mart.
- Разработка Python-компонентов для извлечения данных из Microsoft SQL Server и загрузки в Raw-слой ClickHouse;
- Настройка и сопровождение ETL/ELT-процессов в Apache Airflow;
- Проектирование структуры таблиц и моделей данных в ClickHouse;
- Подготовка витрин данных для построения отчётности в Yandex DataLens;
- Настройка инкрементальной загрузки данных, контроль полноты и корректности загрузок;
- Использование Yandex Data Transfer для репликации и переноса данных между системами;
- Оптимизация SQL-запросов, структуры таблиц, партиционирования и ключей сортировки в ClickHouse;
- Реализация механизмов обработки ошибок, повторного запуска и восстановления ETL-процессов;
- Настройка логирования и мониторинга процессов загрузки данных;
- Проведение сверки данных между Microsoft SQL Server, Power BI и целевыми витринами ClickHouse;
- Анализ существующих источников данных и логики формирования показателей в Power BI;
- Участие в декомпозиции требований к витринам совместно с аналитиками и разработчиками Yandex DataLens;
- Подготовка технической документации по реализованным загрузкам, трансформациям и структурам данных;
- Участие в тестировании, исправлении дефектов и передаче разработанных процессов в промышленную эксплуатацию.
Требования:
- Практический опыт работы в роли Data Engineer от 1 года;
- Уверенное знание SQL;
- Опыт разработки и оптимизации запросов в ClickHouse;
- Опыт построения ETL/ELT-процессов;
- Опыт разработки на Python для задач интеграции и обработки данных;
- Практический опыт работы с Apache Airflow (разработка DAG, настройка зависимостей, обработка ошибок, повторные запуски, мониторинг выполнения);
- Опыт интеграции с Microsoft SQL Server;
- Понимание принципов построения многослойного хранилища данных: Raw, Core, Data Mart;
- Опыт реализации полных и инкрементальных загрузок;
- Понимание принципов контроля качества и сверки данных;
- Навыки работы с Git.
Будет плюсом:
- Опыт работы с Yandex Data Transfer;
- Опыт работы с сервисами Yandex Cloud;
- Опыт подготовки источников и витрин для Yandex DataLens;
- Опыт участия в проектах миграции BI-отчётности;
- Понимание структуры и принципов работы Power BI, включая Power Query, модели данных и DAX;
- Опыт анализа существующей BI-логики и переноса расчётов из BI-инструмента на уровень хранилища данных;
- Опыт работы с большими объёмами данных и оптимизации производительности ClickHouse;
- Опыт настройки мониторинга и оповещений для ETL-процессов;
- Опыт работа в фарм. отрасли или ретейле;
- Наличие сертификатов.
Мы предлагаем:
- Работу в аккредитованной IT-компании;
- Возможность работать удалённо или в одном из комфортных офисов в шаговой доступности от метро;
- Гибкое начало рабочего дня: с 08:00 до 11:00 (по МСК);
- ДМС со стоматологией, телемедициной и полисом ВЗР;
- Возможность взять больничный без больничного: 7 дней в году;
- Поэтапную адаптацию от hr и линейного руководителя;
- Ревью и развитие: оцениваем результаты, обсуждаем карьерные цели и выстраиваем индивидуальный план развития;
- IT-конференции, курсы, тренинги и сертификации за счет компании;
- Корпоративный английский;
- Развитие личного бренда: готовим спикеров к выступлениям на конференциях, помогаем в написании статей;
- Внутренние митапы, онлайн/офлайн активности (квизы, вечера настольных игр, спортивные мероприятия).
