О роли
Ищем разработчика в команду Data Engineering для создания и развития процессов загрузки, обработки и интеграции данных. Работа с потоковыми и пакетными данными, развитие пайплайнов в Airflow, интеграции через Kafka и решения на базе Greenplum.
Обязанности:
- Разработка и поддержка процессов обработки данных на Python и SQL.
- Создание, настройка и сопровождение DAG в Apache Airflow.
- Разработка интеграций и потоков данных на Apache Kafka.
- Загрузка, трансформация и оптимизация данных в Greenplum.
- Разработка кастомных парсеров для сайтов, API, файлов и внешних систем.
- Создание ETL/ELT-процессов и контроль качества данных (Data Quality).
- Оптимизация SQL-запросов и производительности на больших объёмах данных.
- Диагностика ошибок, настройка логирования, мониторинга и повторного запуска процессов.
- Взаимодействие с аналитиками, архитекторами, разработчиками и владельцами источников данных.
- Подготовка технической документации.
Требования:
- Уверенное владение Python.
- Хорошее знание SQL и принципов работы реляционных баз данных.
- Практический опыт разработки ETL/ELT-процессов.
- Опыт работы с Apache Airflow и разработки DAG.
- Понимание принципов работы Apache Kafka.
- Опыт с Greenplum, PostgreSQL или другими MPP-базами данных.
- Опыт интеграции с REST API, JSON, XML, CSV и другими форматами.
- Понимание принципов отказоустойчивых и идемпотентных процессов.
- Умение разбираться в чужом коде и находить причины ошибок.
- Опыт работы с Git.
Будет преимуществом:
- Kafka Connect, Debezium или CDC-инструменты.
- Docker и Kubernetes.
- ClickHouse, Spark, Trino или объектные хранилища (object storage).
- Написание автотестов для дата-пайплайнов.
- Настройка мониторинга через Prometheus и Grafana.
- Системы Data Quality и Data Governance.
Условия:
- Участие в развитии современной корпоративной платформы данных.
- Работа с большими объёмами данных и высоконагруженными интеграциями.
- Возможность влиять на архитектуру и технические решения.
- Сильная команда Data Engineering, аналитики и ML.
- Официальное оформление, конкурентный уровень вознаграждения.
- Формат работы и условия обсуждаются индивидуально.
