Проектировать потоки данных и разрабатывать ETL-процессы (Apache Airflow).
Развивать и поддерживать инфраструктуру сервисов (Apache Airflow, Apache Kafka, Kubernetes).
Обеспечивать интеграцию разнородных корпоративных систем посредством различных протоколов передачи данных (Apache Airflow, Apache Kafka).
Заниматься настройкой мониторинга, оптимизацией производительности, обеспечивать решение проблем.
Развивать и поддерживать процессы автоматизации (GitLab CI, ArgoCD, Ansible).
Документировать решения и разрабатывать техническую документацию.
Мы ожидаем
Глубокое понимание архитектуры и возможностей платформы:
Apache Airflow, включая работу с DAGs, операторами, сенсорами и хуками.
Apache Kafka, включая работу с топиками, партициями, коннекторами.
Опыт работы с реляционными (PostgreSQL, MS SQL, Oracle) и нереляционными (MongoDB) СУБД, знание SQL-запросов, опыта оптимизации запросов и создания индексов.
Владение языком программирования Python на уровне профессионального разработчика, опыт написания сложных программных конструкций и библиотек.
Опыт проектирования и реализации ETL-пайплайнов в рамках крупных организаций, работа с инструментами для автоматизации процессов перемещения и трансформации данных.
Навык контейнеризации и развертывания приложения на Kubernetes, Docker Compose и других платформах оркестрации контейнеров.
