Data Engineer (Контроль качества)
Ищем единомышленника в команду аналитики банковских рисков. Мы создаём витрины данных для принятия стратегических решений, работаем с крупнейшими объёмами информации о рынке и бизнесе, а наши отчёты читает руководство банка. Если вам интересно видеть практический эффект от своих инженерных решений — присоединяйтесь!
Обязанности
- разработка и оптимизация витрин данных и ETL-процессов на платформе Hadoop, с использованием инструментов Spark, Hive, HDFS
- анализ работы существующих ETL процессов, поиск и устранение проблемных мест
- взаимодействие с заказчиками для сбора, формализации и декомпозиции бизнес- и функциональных требований к данным
- сопровождать команд бизнеса и разработки моделей по ad-hoc запросам
- обеспечение качества и доступности данных
- оптимизация производительности обработки данных (например, настройка параметров Spark-джоб для достижения максимальной производительности и эффективности использования ресурсов кластера)
- применение ИИ-агентов для оптимизации и ускорения своих процессов.
Требования
- глубокое SQL (оконные функции, CTE, оптимизация планов запросов)
- опыт работы с Apache Spark (PySpark/Spark SQL), Hadoop/HDFS, партиционирование, распределённые вычисления
- опыт работы с scala/python
- понимание устройства хранилищ данных
- опыт работы с большими объёмами данных
- знание общих подходов к оптимизации
- навыки работы с git и linux bash
- промышленный опыт реализации ETL процессов
- общее понимание ИИ-архитектур и ML-алгоритмов.
Условия
- комфортный современный офис рядом с м. Кутузовская
- офисный формат работы
- ежегодный пересмотр зарплаты и годовая премия
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- подписка Прайм с возможностью совместного использования на трёх близких
- скидки на продукты компаний-партнеров
- вознаграждение за рекомендацию друзей в команду Сбера.
