Описание проекта: Участие в проектах развития систем больших данных банка.
Стек технологий на проекте: Spark, NiFi, S3, Iceberg, K8S, Kafka, Airflow.
Обязанности:
- Разработка и поддержка ETL-процессов (batch и stream) для Lakehouse-платформы на базе S3;
- Интеграция данных из разнородных источников (Kafka, CDC, реляционные СУБД, REST-сервисы);
- Участие в проектирование технических и архитектурных решений, необходимых для реализации бизнес-задач;
- Взаимодействие с архитекторами, системными аналитиками, QA, DevOps;
- Наставничество для новых членов команды.
Мы ищем:
- Опыт в Big Data от 2+ лет (Lakehouse, Hadoop);
- Глубокое знание SQL, оптимизация запросов в MPP движках;
- Знание Java/Scala на высоком уровне;
- Понимание принципов работы Spark;
- Практический опыт работы с потоковыми ETL-инструментами (NiFi, Flink, Kafka Connect), участие в проектах с онлайн потоковой аналитикой с большим количеством источников.
Мы ценим:
- Самостоятельность - способность выполнять задачи с минимальным контролем;
- Командную работу - эффективное взаимодействие и координация с коллегами;
- Ответственность - доведение задач до завершения с учетом требований качества;
- Проактивность - инициативность и своевременное уточнение деталей;
- Развитие экспертизы - постоянное обучение и обмен знаниями в команде.
Будет плюсом:
- Знание Python на базовом уровне;
- Понимание процесса разработки процессоров NiFi на Python/Java;
- Опыт использования CDC инструментов (Debezium, Flink CDC) c Oracle/MS SQL/Postgres;
- Участие в проектировании архитектуры Big Data решений;
- Понимание принципов работы распределенных движков обработки данных Spark/Trino/Star Rocks/Impala;
- Опыт работы с форматом Iceberg;
- Опыт работы с CI/CD инструментами (Gitlab CI, Jenkins) - Опыт работы с Docker, K8s .
Условия: - Официальное оформление по ТК РФ с первого дня работы;
- Дружеская атмосфера и поддержка с самого начала: для новичков предусмотрен онбординг с опытным наставником, который поможет разобраться в процессах, расскажет о продуктах и всегда будет на связи;
- Гибкие процессы, которые мы постоянно улучшаем, учитывая мнение каждого члена команды;
- Минимум бюрократии: большинство вопросов решается быстро через электронный документооборот;
- Удобный офис в отличной локации с современным оборудованием и всем необходимым для комфортной работы;
- Уникальные бенефиты: ДМС (включая стоматологию), фитнес, курсы иностранных языков, скидки на продукты банка и партнеров;
- Поддержка профессионального роста: оплата тренингов, курсов и участие в ИТ-мероприятиях (митапы, хакатоны, конференции);
- Свобода и комфорт: гибкий график, отсутствие дресс-кода, минимум бюрократии и максимум вовлеченности.
- Присоединяйся – с нами будет интересно!
