Вам предстоит: Data Warehouse:
- Проектирование и построение DWH в ClickHouse с нуля: схемы, партиционирование, TTL, материализованные представления;
- Подключение всех источников данных компании: CRM, сайт, колл-трекинг, 1С, СОД, ERP — 100% покрытие к концу Фазы 1;
- Стандартизация форматов данных между разными системами — единая модель для аналитики и ML;
- Управление версионированием схем базы данных, миграции без потери данных;
- Оптимизация запросов: индексы, первичные ключи, профилирование медленных запросов.
ETL-пайплайны:
- Разработка и поддержка ETL-пайплайнов на Python (pandas, polars) для всех 12 бизнес-блоков;
- Оркестрация пайплайнов через Apache Airflow: расписания, зависимости, алерты при падениях;
- Обработка ошибок, идемпотентность загрузок — данные не должны дублироваться или теряться;
- Инкрементальная загрузка: только изменившиеся данные, без полной перезаписи;
- Мониторинг свежести данных: алерт если данные не обновлялись дольше порога.
Парсинг и внешние источники:
- Мониторинг новых ПД в строительной отрасли;
- Сбор цен на строительные материалы с сайтов поставщиков для Департамента закупок;
- Playwright / Scrapy для сайтов с динамическим рендерингом (SPA, JavaScript-сайты);
- Работа с API: HH.ru, Битрикс24, Telegram Bot API, Perplexity — подключение новых источников по запросу.
Интеграции:
- REST API интеграции с корпоративными системами: CRM, ERP, HR-система, СОД;
- Webhooks — приём событий в реальном времени из внешних систем;
- Разработка и документирование внутренних API для доступа к данным DWH;
- Управление доступами к данным совместно с MLOps: RBAC на уровне таблиц и схем.
Качество данных:
- Настройка валидации данных на входе: типы, диапазоны, обязательные поля;
- Мониторинг аномалий в данных: выбросы, пропуски, несоответствия между источниками;
- Документирование источников, форматов и логики трансформаций (data lineage);
- Сверка данных между системами: BI vs БДР — расхождения должны стремиться к нулю.
Документация и процессы:
- Документирование всех пайплайнов: источник → трансформация → назначение;
- Runbook'и для команды: как добавить новый источник, как откатить миграцию, что делать при инциденте;
- Участие в техническом планировании совместно с ML Engineer: какие данные нужны для модели и в каком формате.
Наши ожидания: - ClickHouse — продакшн опыт: проектирование схем, оптимизация запросов, партиционирование;
- Python ETL — pandas, polars: трансформации, очистка, дедупликация данных;
- Apache Airflow — реальный опыт в проде: DAG'и, операторы, мониторинг задач;
- SQL продвинутый — оконные функции, CTE, аналитические запросы, оптимизация;
- REST API интеграции — подключение внешних систем, обработка авторизации (OAuth2, API Key);
- Scrapy / Playwright — парсинг сайтов, в том числе с динамическим рендерингом;
- Понимание моделей данных: звезда, снежинка, Data Vault — когда что применять;
- Linux — администрирование, cron, работа с файловой системой и сетью;
- Понимание моделей данных: когда нужна нормализация, когда денормализация под аналитику;
- Понимание 152-ФЗ — какие данные являются ПДн, что нельзя передавать во внешние сервисы;
- Скорость: ad-hoc аналитический запрос + вывод за 2–4 часа — критично для бизнес-блоков.
Дополнительно:
- Kafka / RabbitMQ — потоковая обработка событий в реальном времени;
- dbt — трансформации данных внутри DWH, тестирование моделей;
- PostgreSQL — опыт как дополнение к ClickHouse для транзакционных данных;
- Docker — контейнеризация пайплайнов для деплоя через MLOps;
- Yandex Cloud — Object Storage, Managed ClickHouse, DataLens.
В Dogma Вас ждут:
- Работа в крупном строительном холдинге федерального уровня;
- Официальное оформление по ТК РФ с первого рабочего дня (стабильная белая заработная плата с выплатами 2 раза в месяц, оплата больничных листов, ежегодные отпуска);
- График работы 5/2 с 09.00 до 18.00;
- Корпоративная программа лояльности для сотрудников Best Benefits – скидки от партнёров;
- Скидки для сотрудников на приобретение недвижимости компании от 4% до 7%;
- Всё для эффективной и качественной работы: профессиональная техника, мобильный телефон и корпоративная сотовая связь;
- Возможность обучения и развития в рамках корпоративного университета компании (тренинги, мастер-классы, онлайн-обучение);
- Корпоративные подарки детям сотрудников к Новому году и объединяющие корпоративные мероприятия;
- Корпоративные тренировки по волейболу и футболу;
- Безграничные возможности кросс-функционального взаимодействия и участия в крупных проектах для расширения профессиональной экспертизы;
- Отличная команда профессионалов с комфортной и дружелюбной рабочей атмосферой.
