Команда занимается развитием фреймворка разработки витрин данных. В команде объединены экспертизы по DE, Software Engineering, анализу и архитектуре, DevOps, Backend и Frontend разработке. Работаем по Scrum, ценим высокий профессионализм, культуру общения и проактивность. В центр компетенций по Data Engineering мы ищем коллегу - Data Engineer.
Обязанности
- разрабатывать и дорабатывать компоненты фреймворка для построения batch- и streaming-витрин
- реализовывать модули платформы (оркестрация, метаданные, Data Quality-фреймворк) на Scala/Java
- реализовывать и поддерживать API (включая RESTful), которые упрощают работу с данными для других команд
- участвовать в оптимизации производительности Spark-приложений на больших объемах данных
- покрывать код тестами и участвовать в code review
- взаимодействовать с пользователями платформы: разбирать обращения, помогать с интеграцией, собирать обратную связь
Требования
- наличие высшего образования
- опыт коммерческой разработки в data engineering от 2-3 лет
- языки: уверенное знание Scala или Java, SQL; базовые навыки Bash
- Big Data: практический опыт разработки на Apache Spark
- данные: понимание DWH/Data Lake, ETL/ELT-процессов, SCD, подходов к Data Quality
- инжиниринг: понимание принципов SOLID и ООП, опыт написания unit- и integration-тестов, работа с Git
- умение самостоятельно доводить задачи до результата, аргументировать технические решения, работать в кросс-функциональной команде
будет преимуществом:
- опыт с Kafka, Flink, Iceberg или аналогами
- опыт с Hadoop-экосистемой (HDFS, YARN, Hive)
- опыт с ClickHouse, Kubernetes, S3
- знание Python
- навыки работы с генеративными AI-моделями
Условия
- офисный формат в Москве (ул.Поклонная, 3)
- ежегодный пересмотр зарплаты и годовая премия
- расширенный ДМС и льготное страхование для семьи
- уникальная система обучения Сбера для профессионального и карьерного развития
- выгодная ипотека для сотрудников
- подписка Прайм с возможностью совместного использования на трёх близких
- вознаграждение за рекомендацию друзей в команду Сбера
- корпоративная пенсионная программа
