О компании
Мы — EvApps, IT-компания, создающая программные решения любой сложности: корпоративные порталы, облачные сервисы, мобильные приложения и информационные системы для бизнеса и государственных структур. Мы помогаем нашим клиентам быстро усиливать свои команды IT-специалистами под конкретные задачи и проекты.
Сейчас мы ищем Data Engineer (Middle+ / Senior) для разработки data lakehouse-решения под NDA для крупного заказчика в Московский офис на гибридный формат работы (3 дня в офисе, 2 на удалёнке)
Требования
- Язык: Python (уверенное владение, понимание ООП, типизации, работы с памятью)
- ETL/ELT: Опыт построения пайплайнов в продакшн (от 1–2 лет активной поддержки)
- Обработка данных: PySpark / pandas / аналоги; работа с большими объёмами
- Форматы: Parquet, columnar storage (понимание partitioning, compression, schema evolution)
- Хранилища: S3 или аналоги (MinIO, Yandex Object Storage, etc.)
- Архитектура: Data Lake / Lakehouse, multi-layer: raw → processed → curated
- Data Quality: Нормализация, дедупликация, формирование golden record / master data
- БД & SQL: PostgreSQL, Greenplum, ClickHouse (или аналоги); продвинутый SQL (оконные функции, CTE, оптимизация запросов)
- Оркестрация: Apache Airflow (или аналоги: Dagster, Prefect, Temporal)
- DevOps: Docker, CI/CD (GitLab CI, GitHub Actions, Jenkins), Git
- Облака: Yandex Cloud / AWS / GCP (любая из трёх, понимание IAM, сетей, compute/storage)
- XML: lxml, ElementTree или аналоги; опыт парсинга/валидации сложных структур
ОСНОВНЫЕ ЗАДАЧИ
- Разработка и оптимизация ETL/ELT-пайплайнов под большие объёмы.
- Парсинг, валидация и трансформация XML-данных.
- Построение слоёв raw → processed → curated (Parquet + S3).
- Реализация нормализации, дедупликации и формирования "золотых" записей.
- Тюнинг производительности и обеспечение стабильности в продакшене.
- Подготовка решений к переносу в закрытый контур заказчика.
- Взаимодействие с аналитиками, архитектором, DevOps и командой
Условия:
- проект под NDA у крупного заказчика со сроком - до конца этого года с возможностью продления;
- современный стек и работу с Data Lakehouse-архитектурой;
- гибридный формат работы (Москва): 3 дня в офисе, 2 дня удаленно;
- полную занятость (40 часов в неделю);
- конкурентную почасовую ставку;
- стабильную загрузку без поиска проектов между контрактами;
- сопровождение со стороны EvApps на всех этапах проекта.
