Инженер данных

ООО «Реванш» - крупная российская сеть магазинов бытовой техники и электроники. Более 30 лет мы стараемся быть лучшими в этой сфере и удовлетворять все потребности покупателей с помощью продукции высокого качества и линейки сервисных услуг.

Наши успехи – это заслуга сотрудников компании. Мы заинтересованы в специалистах и поощряем стремление к развитию и карьерному росту.

На данный момент в нашу команду требуется «Аналитик DWH / Инженер данных».

Мы строим централизованное корпоративное хранилище данных (DWH) для поддержки управленческих решений. Ключевой источник данных —1С:Предприятие, а также внешние источники. В нашей экосистеме — десятки источников, критически важная отчётность и растущие объёмы информации. Нам нужен специалист, который не просто пишет запросы, а проектирует слои данных (ODS, DDS, DM) и обеспечивает их стабильную, своевременную доставку до конечных витрин.

Стек: PostgreSQL | Apache Airflow | Apache Superset | n8n

Чем предстоит заниматься:

• Разработка ETL/ELT-процессов: Писать эффективные процедуры на PL/pgSQL и сложные скрипты для инкрементальной и полной загрузки данных в DWH на базе PostgreSQL и Clickhouse;

• Интеграция с 1С: Настраивать и сопровождать конвейеры по выгрузке данных из 1С (прямые SQL-запросы к базе 1С). Обеспечивать корректное преобразование справочников и документов 1С в реляционную модель DWH;

• Оркестрация пайплайнов с учётом дискретности: Настраивать DAG-и в Apache Airflow с гибкими расписаниями, учитывая регламент обновления разных источников. Управлять окнами загрузки, избегая перегрузки источников и соблюдая бизнес-ограничения по времени доступности;

• Визуализация и BI: Разрабатывать интерактивные дашборды и кастомизированные отчёты в Superset (работа с датасетами, виртуальными запросами, настройка Row Level Security);

• Автоматизация интеграций: Использовать n8n для построения быстрых конвейеров по сбору данных из внешних API-сервисов, также для предоставления данных для внешних сервисов там, где использование тяжеловесного Airflow избыточно;

• Оптимизация: Анализировать планы выполнения запросов, проектировать индексы, партиционирование и шардирование в Postgres для ускорения работы витрин и отчётов;

• Управление дискретностью обновлений: Проектировать механизмы отслеживания изменений (флаги, триггеры, CDC) и настраивать инкрементальные загрузки с контролем целостности данных при пропусках или сбоях.

• Опыт коммерческой разработки на PostgreSQL (написание сложных оконных функций, CTE, хранимых процедур/функций) — от 2 лет;

• Реальный опыт построения и поддержки пайплайнов в Apache Airflow (понимание устройства XCom, пулов, сенсоров, настройка подключений) с учётом разных частот обновления (дискретности) для различных источников;

• Уверенное владение Superset (создание дашбордов с нуля, работа с временными рядами, фильтрацией и кастомными SQL-запросами внутри датасетов);

• Практическое использование n8n (настройка входящих вебхуков, работа с HTTP-нодами, обработка JSON/XML, ветвление логики);

• Опыт интеграции с 1С: понимание структуры типовых конфигураций, умение выгружать данные; знание особенностей работы с регистрами и документами 1С;

• Понимание архитектуры DWH (схема "Звезда", "Снежинка", типы медленно меняющихся измерений — SCD Type 1/2) и умение применять их для данных из 1С;

• Опыт настройки дискретного (инкрементального) обновления — использование срезов по дате/времени, порядковых номеров, флагов изменений, обработка отложенных или повторных загрузок.

Будет плюсом:

• Опыт комбинирования Airflow и n8n в рамках одной архитектуры;

• Знание Python (для написания кастомных операторов Airflow и вспомогательных скриптов для предобработки данных из 1С);

• Навыки администрирования баз данных (мониторинг, бэкапы, восстановление);

• Опыт работы с объёмами данных от 1 млн+ строк в сутки, в том числе из 1С с большим количеством справочной информации;

• Опыт работы с CDC-решениями для 1С или других источников;

• Понимание бухгалтерских и управленческих учётных процессов.

• Официальное трудоустройство по ТК РФ;
• Работа в крупной, надежной компании;
• Достойная оплата труда (по итогам собеседования);
• Современный благоустроенный офис;
• Поддержка в период адаптации;
• Корпоративный транспорт;
• График работы: 5/2;
• Финансовая поддержка от компании в различных жизненных ситуациях;
• Место работы: Вольский тракт, 14.

Спасибо за внимание к нашей вакансии! Ждём Ваше резюме и будем рады познакомиться!