Ведущий инженер данных

Blaze Analytics — команда, специализирующаяся на построении аналитических платформ и решениях в области управления данными.
Мы помогаем крупным компаниям и государственным организациям трансформировать работу с данными: от legacy-систем к современной Data Platform.

Сейчас мы расширяем команду и ищем Ведущего инженера данных (Lead Data Engineer) для участия в проекте построения Data Lakehouse для крупного государственного заказчика. Проект находится в активной фазе развития: мы переносим сотни потоков данных из legacy DWH в современную гибридную архитектуру.

В перспективе предстоит возглавить группу из 3-4 инженеров данных.

Стэк проекта: CedrusData (Trino) + Apache Iceberg, Spark, Airflow, Kafka + MinIO / VK Cloud Storage + Debezium + XML / XSD.

Какой опыт и навыки для нас обязательные

1. Понимание принципов функционирования распределенных систем/вычислений.
2. Понимание основ проектирования эффективных приложений для СУБД и подходов к оптимизации.
3. Опыт разработки PySpark и оптимизации Spark-приложений.
4. Опыт разработки на Python.
5. Опыт работы с одной из СУБД: Postgres, Oracle, Greenplum или аналогичной.
6. Опыт работы с Airflow.
7. Опыт работы с git.
8. Уверенный пользователь Linux (типовые команды и утилиты).

Желательно

1. Опыт работы с Trino/Hive/Hadoop.
2. Опыт работы с табличными форматами (предпочтительно Iceberg или DeltaLake/Hudi).
3. Опыт работы с Docker и Kubernetes.
4. Опыт разработки на Java (или понимание основ JVM).
5. Опыт работы с инструментами мониторинга (Grafana, Prometheus и аналогичные).

Задачи, которые тебя ждут

1. Разработка программных модулей (преимущественно ETL) с использованием PySpark и Airflow.
2. Создание модулей автоматизации ETL-процедур для переиспользуемого шаблонного кода.
3. Оптимизация разработанных решений.

Организационные и лидерские задачи:

1. Управление командой 2-4 человека (постановка задач, соблюдение общих стандартов и валидация результатов)
2. Декомпозиция высокоуровневых задач и делегирование разработчикам
3. Выстраивание процессов разработки (стандарты, CI/CD, стенды, инструкции развертывания)
4. Проведение технических демо разработанного функционала заказчику

Что мы предлагаем

1. Простор в реализации идей в рамках проекта. Мы за продуктовый подход - если ты знаешь предметную область заказчика, готов обосновать свои предложения и понимаешь, как они вписываются в цели проекта, то мы поддержим и дадим возможность их реализовать.

2. Низкий уровень бюрократии, а также возможность влиять на процессы в компании.

3. Рост до позиции руководителя группы инженеров данных.

4. Работу в аккредитованной IT-компании.

5. Своевременную белую зарплату дважды в месяц с возможностью роста.

6. Гибридный формат (обязательно быть в Москве, 2-3 дня в офисе заказчика в неделю).

7. Покупку техники (ноутбук + монитор).

8. Различные варианты оформления - в штат или на ГПХ.