Привет! Ищем в Блейз Аналитикс ведущего инженера данных (Lead Data Engineer) на проект Data Lakehouse для госзаказчика. Мы специализируемся на разработке хранилищ данных и BI-аналитике. У нас распределенная команда, низкий уровень бюрократии, прозрачные и понятные процессы, на которые может влиять каждый сотрудник.
Ведущий инженер данных возглавит разработку нашего продукта, поможет развернуть продукт в контуре заказчика (надо будет ездить в офис в центре Москвы), внедрит стандарты разработки и возглавит группу из 2 инженеров данных.
Стек: CedrusData (Trino) + Apache Iceberg, Spark, Airflow + MinIO / VK S3.
Если описанные ниже требования про тебя, ждём твой отклик.
Опыт и технические навыки (обязательные):
- Понимание принципов функционирования распределенных систем/вычислений
- Понимание основ проектирования эффективных приложений для СУБД и подходов к оптимизации
- Опыт разработки PySpark и оптимизации Spark-приложений (must have)
- Опыт разработки на Python
- Опыт работы с одной из СУБД: Postgres, Oracle, Greenplum или аналогичной.
- Опыт работы с Airflow
- Опыт работы с git
- Уверенный пользователь Linux (типовые команды и утилиты)
Желательно:
- Опыт работы с Trino/Hive/Hadoop
- Опыт работы с табличными форматами (предпочтительно Iceberg или DeltaLake/Hudi)
- Опыт работы с Docker и Kubernetes
- Опыт разработки на Java (или понимание основ JVM)
- Опыт работы с инструментами мониторинга (Grafana, Prometheus и аналогичные)
Требования/функции:
- Разработка программных модулей (преимущественно ETL) с использованием PySpark и Airflow
- Создание модулей автоматизации ETL-процедур для переиспользуемого шаблонного кода
- Оптимизация разработанных решений
Организационные и лидерские задачи:
- Управление командой 2-4 человека (постановка задач, соблюдение общих стандартов и валидация результатов)
- Декомпозиция высокоуровневых задач и делегирование разработчикам
- Выстраивание процессов разработки (стандарты, CI/CD, стенды, инструкции развертывания)
- Проведение технических демо разработанного функционала заказчику
Дополнительно
Позиция предполагает гибридный формат работы с периодическими выездами к заказчику (центр Москвы).
