Data Engineer

• Проектировать и развивать пайплайны: выстраивать архитектуру потоковой передачи данных по схеме СУБД (PostgreSQL) → Kafka → HDFS ↔ Kafka.
• Обеспечивать качество источников: оценивать готовность баз к репликации, валидировать требования заказчиков и гарантировать соответствие схем интеграции.
• Оптимизировать производительность: повышать скорость, надежность и отказоустойчивость действующих ELT-процессов в распределенной среде.
• Сопровождать инфраструктуру: оперативно выявлять ошибки через системы мониторинга и взаимодействовать с командами владельцев данных.
• Миграция уже интегрированных систем-источников с legacy-инструментов репликации на целевой внутренний инструмент репликации (Compute&Storage). Это включает анализ текущих трактов данных, подготовку источников к миграции на новый инструмент, конфигурацию нового инструмента и обеспечение бесшовного переключения потребителей данных.
• Оптимизация ядра: Выявление и постановка в бэклог задач на улучшение целевого инструмента, управление конфигурациями пайплайнов через YAML и модификация Kafka-топиков при необходимости.
• Поддержка источников: Помощь в подготовке к миграции на целевой инструмент репликации источникам данных

• Практический опыт создания ETL/ELT-решений с помощью Apache NiFi, Talend, Informatica или самостоятельной разработки решений на Python, SQL, Java.

• Глубокое знание реляционных БД (преимущественно PostgreSQL).

• Понимание принципов распределенных систем (Hadoop, Spark): уверенная работа с экосистемой Apache — Kafka, HDFS, Hive.

• Навыки работы с системами мониторинга: Grafana и Zabbix.

Условия:

• Возможность профессионального и карьерного роста в компании, возможность поучаствовать в разных проектах;
• Опыт работы в распределенной команде профессионалов;
• Уровень заработной платы обсуждается индивидуально;
• Офисный формат работы г.Москва
• Возможен гибрид