Мы ищем Senior Data Engineer для участия в крупном технологическом проекте в финансовом секторе. Проект связан с развитием платформы обработки и анализа больших объемов клиентских данных и ее переводом в промышленную эксплуатацию.
Специалист присоединится к команде разработки и будет отвечать за построение надежных ETL-процессов, автоматизацию обработки данных, внедрение оркестрации и подготовку решения к стабильной работе в production-среде.
Подробная информация о компании и проекте предоставляется кандидатам на следующих этапах отбора.
Обязанности
- Разработка и оптимизация процессов обработки больших объемов данных с использованием Apache Spark, PySpark и SQL.
- Построение и развитие многостадийных ETL-пайплайнов, включая обеспечение их идемпотентности и восстановление после сбоев.
- Внедрение и настройка оркестрации пайплайнов с использованием Airflow, Dagster или Prefect.
- Работа с OLAP-СУБД, оптимизация массовой загрузки и батчевой обработки данных.
- Интеграция данных из внутренних и внешних источников.
- Участие в переводе решения в промышленную эксплуатацию, включая автоматизацию, мониторинг и взаимодействие с ML- и DevOps-командами.
Требования
- Опыт работы Data Engineer от 5 лет, включая не менее 3 лет промышленной работы с Apache Spark и PySpark.
- Опыт работы с большими объемами клиентских данных в банковской, финтех- или телеком-сфере от 2 лет.
- Экспертное владение SQL: оптимизация сложных аналитических запросов, оконные функции, партиционирование и батчевая обработка больших выборок.
- Уверенное владение Python и инструментами обработки данных: pandas, pyarrow, Parquet.
- Опыт построения отказоустойчивых многостадийных ETL-пайплайнов, включая идемпотентность, восстановление после сбоев и контроль потребления памяти.
- Практический опыт работы с OLAP-СУБД, массовой загрузкой данных и системами оркестрации, такими как Airflow, Dagster или Prefect.
Условия
- Участие в крупном технологическом проекте в финансовом секторе.
- Работа с высоконагруженными системами и большими объемами данных.
- Контракт сроком на 1 год.
- Офисный формат работы с релокацией в Узбекистан.
- Итоговое предложение определяется по результатам интервью и зависит от опыта и технической экспертизы кандидата.
- Работа в команде опытных Data Engineering, Machine Learning и DevOps-специалистов.
