Мы ищем опытного Data Engineer для работы с большими потоками данных и поддержки дата-инфраструктуры. Роль сочетает поддержку существующих систем и развитие новых решений с приоритетом на стабильность и качество данных в реальном времени.
Чем предстоит заниматься:
- Поддержка и развитие дата-пайплайнов в историческом и реальном времени, включая агрегацию, обработку и верификацию данных.
- Разработка и оптимизация Python‑скриптов для интеграции данных из внешних источников и работы с потоками данных.
- Обеспечение качества данных: настройка и развитие процессов верификации, своевременное выявление и исправление ошибок.
- Развитие инфраструктуры: организация хранения и доступа к сырым данным (Data Lake), рефакторинг пайплайнов, оптимизация хранения неагрегированных данных.
- Обслуживание систем: мониторинг, реагирование на алерты, устранение неполадок и обеспечение стабильной работы критичных сервисов.
Уровень:
Mid: поддержка существующей инфраструктуры.
Senior: развитие новых решений и оптимизация систем в реальном времени.
Требования к кандидатам:
- Опыт работы 3+ лет в Data Engineering или Python-разработке, желательно в финансах, трейдинге или FinTech.
- Уверенное владение Python, включая ООП, многопоточность, многопроцессность и asyncio.
- Работа с библиотеками: Pandas, NumPy, Matplotlib, Plotly.
- Опыт с Apache Airflow или аналогичными системами оркестрации пайплайнов.
- Знание ClickHouse, SQL, Git, Linux/Unix.
- Опыт работы с визуализацией данных (Grafana, Dash) и распределёнными вычислениями (Dask, Ray) будет преимуществом.
- Опыт построения и работы с Data Lake.
- Английский на уровне чтения технической документации.
Условия:
- Удаленный формат работы с гибким графиком.
- Возможность официального оформления по разным схемам (B2B, штат, Blue Card).
- Отпуск: 28 дней + 13 гибких выходных.
- Поддержка релокации в некоторые страны.
