AERO — провайдер e-commerce и data-решений. Делаем онлайн-шопинг простым и приятным, а магазины — надежными и безопасными. Нам доверяют М.Видео, Мегафон, Глория Джинс, Лента, Hoff и другие крупные бренды.
Ищем Дата-инженера, который любит данные, пайплайны и порядок в хранилищах — и хочет работать с большим объемом задач в продакшене.
Чем предстоит заниматься
Автоматизировать и поддерживать дата-пайплайны (ETL/ELT).
Участвовать в построении хранилищ данных: проектирование, моделирование, определение сущностей, формирование витрин.
Разрабатывать и оптимизировать выгрузки из источников: Oracle, PostgreSQL, S3, Kafka, API.
Реализовывать обработку данных: batch / stream / near real-time.
Оркестрировать ETL/ELT процессы в Airflow, NiFi, dbt, включая CDC-инструменты.
Поддерживать аналитическую инфраструктуру и развивать её вместе с командой.
Предлагать улучшения и внедрять новые технологии, если они реально усилят платформу.
Наш стек
DWH/DB: ClickHouse, GreenPlum, PostgreSQL, Vertica, MS SQL и др.
Языки: Python, SQL.
Big Data: Spark.
Оркестрация/ETL: Airflow, NiFi, dbt.
Инфраструктура: Kafka, Kubernetes (K8s), Debezium.
VCS: Git (GitLab).
Подходы: Data Vault / Business Data Vault.
И место для технологии, которую ты предложишь и обоснуешь 🙂
Ожидания от кандидата
Опыт разработки и поддержки дата-пайплайнов (ETL/ELT).
Уверенный SQL (оптимизация запросов, понимание планов/индексов, работа с большими объемами).
Опыт с Python для обработки/интеграций/автоматизации.
Понимание принципов построения DWH и витрин данных.
Практика работы с оркестраторами (Airflow / NiFi / dbt) — любая комбинация.
Будет плюсом: опыт со streaming (Kafka), CDC (Debezium), Spark, K8s, Data Vault.
Что предлагаем
