В связи с расширением приглашаем в команду ИТ Инженера данных.
Ключевая задача: спроектировать и реализовать надёжный пайплайн данных из корпоративной PostgreSQL или MySQL в аналитическое хранилище на базе ClickHouse или похожей системы, обеспечить его бесперебойную работу и производительность.
Чем предстоит заниматься:
- Проектирование архитектуры загрузки данных: выбор стратегии репликации (CDC, batch), настройка инструментов трансфера.
- Развёртывание и конфигурация кластеров ClickHouse (партиционирование, оптимизация схем под запросы).
- Разработка и поддержка ETL-процессов: обеспечение целостности, дедупликации, обработка ошибок.
- Мониторинг производительности пайплайна, оптимизация запросов к ClickHouse, работа с планами выполнения.
- Автоматизация рутинных операций с помощью Python/Bash.
- Взаимодействие с командой инфраструктуры по вопросам сетевой доступности и безопасности.
Что нам обязательно важно:
- SQL: уверенное владение (оконные функции, оптимизация запросов, анализ планов), опыт работы с PostgreSQL.
- ClickHouse: глубокое понимание архитектуры, опыт проектирования схем, настройки партиционирования и ключей сортировки.
- ETL и репликация: опыт построения конвейеров данных из OLTP-систем в аналитические хранилища, понимание CDC (Change Data Capture).
- Языки программирования: опыт промышленной разработки на Python (скриптинг, автоматизация, работа с API).
- Linux: уверенное владение командной строкой, работа с логами, systemd.
Будет плюсом:
- Опыт работы с облачными платформами (любой: Yandex Cloud, AWS, Azure) — развертывание управляемых баз данных, объектных хранилищ.
- Знакомство с Yandex Data Transfer, Managed ClickHouse.
- Опыт работы в проектах Яндекса или стартапах экосистемы Яндекса.
- Знание Kafka, Debezium, Airflow.
- Понимание основ информационной безопасности при передаче данных.
Мы предлагаем:
-
Интересные задачи и работа над крупными проектами по разработке собственного ИТ продукта, интеграции с партнерами.
-
График работы: полная занятость, работа в комфортном офисе на м. Савеловская, после ИС возможен гибридный формат работы.
-
Оформление согласно ТК РФ по трудовому договору, полностью "белая" заработная плата.
-
Заработная плата обсуждается с успешным кандидатом.
- Развитая корп. культура - все сотрудники отмечают, что у нас лучший коллектив и дружная профессиональная команда!
-
Возможность развития и карьерного роста внутри продуктовой компании.
-
Современный подход и постоянное совершенствование Компании, развитие продуктов.
-
Лояльное руководство, непосредственное взаимодействие с Руководителями, заказчиками и командой разработки.
Чтобы мы могли предложить вам лучшие условия, укажите, пожалуйста, ваши зарплатные ожидания в отклике или сопроводительном письме.
