Мы – команда разработки DATA решений для Программы Лояльности СберСпасибо. Отвечаем за промышленную обработку данных: Big Data, реальные SLA, живой драйвовый бизнес. Работаем с распределенными системами, строим надежные пайплайны и делаем данные пригодными для аналитики, ML и продуктовых решений. В роли Data Engineer Вы получите опыт работы с настоящими большими данными, современным технологическим стеком, а также сможете влиять на платформу и наблюдать результат своей работы.
Обязанности:
- Проектирование и разработка витрин данных
- Реализация различных видов интеграционных взаимодействий с внешними системами (онлайн, оффлайн и файловые интеграции)
- Разработка и внедрение фреймворков и автоматизированных инструментов обработки данных
- Мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин
- Анализ и устранение проблем производительности
- Предоставление экспертной поддержки внутренним потребителям по вопросам, связанным с использованием данных
- Описание фичей, подготовка требований для смежных команд, разработка спецификаций и технической документации
Требования:
- Не менее 2 лет работы в качестве Data Engineer или ETL Developer
- Отличное знание SQL и современных реляционных/MPP СУБД (на выбор PostgreSQL /Teradata/GreenPlum/etc)
- Опыт работы с экосистемой Hadoop/Spark
- Знание языков программирования на выбор Scala/Java/Python
- Знакомство с архитектурой ПО и математическими алгоритмами
- Опыт работы с большими объемами данных
- Опыт промышленной разработки/внедрения и тиражирования решений по работе с данными (хранилища, витрины)
