Мы развиваем платформу данных для подготовки датасетов «общих знаний» о внешнем мире. Эти данные напрямую используются в развитии ИИ: для обучения моделей, retrieval/search и других сценариях.
Обязанности
- разрабатывать batch-пайплайны на Spark для трансформации данных из сырых источников (raw) в готовые витрины и датасеты для ML-команд.
- обеспечивать качество данных: реализовывать алгоритмы дедупликации, очистки, фильтрации и обогащения.
- оптимизировать хранение в S3 + Iceberg: настраивать партиционирование, компактизацию, управлять жизненным циклом снепшотов для работы с сотнями петабайт данных.
- разворачивать и оркестрировать пайплайны с помощью Airflow и Kubernetes (деплой своих Spark-джоб и сервисов без хардкорного DevOps).
- организовывать быстрый и удобный доступ исследователей к данным через Trino/Presto.
Требования
- опыт работы Data Engineer от 3 лет.
- глубокое понимание под капотом Spark (настройка потребления памяти, борьба со skew, оптимизация планов запросов).
- практический опыт с S3-совместимыми хранилищами и табличными форматами (Iceberg, Delta или Hudi), нас Iceberg.
- уверенное владение SQL и Python.
- опыт контейнеризации и запуска задач в Kubernetes.
- умение проектировать пайплайны, устойчивые к падениям и дублям (идемпотентность).
Будет плюсом
- Опыт администрирования или оптимизации Trino/Presto.
- Работа с форматами web архивов (WARC, Common Crawl).
- Опыт подготовки текстов или данных специфично под задачи ML/LLM.
Условия
- стабильный оклад и премии по результатам работы, ежегодный пересмотр зарплаты
- комфортный современный офис рядом с м.Кутузовская
- гибридный формат работы: встречаемся очно в офисе 1 раз в неделю
- корпоративный спортзал и зоны отдыха
- уникальная система обучения Сбера для профессионального и карьерного развития
- программа адаптации и помощь руководителя на старте
- расширенный ДМС и льготное страхование семьи
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- бесплатная подписка СберПрайм, скидки на продукты компаний-партнеров
- вознаграждение за рекомендацию друзей в команду Сбера
- корпоративная пенсионная программа
