Devops / Платформа данных
Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ. Платформа данных - ведет разработку инфраструктуры вокруг всех данных нашего маркетплейса. Здесь проходит путь от рождения данных до их хранения: агенты, фреймворки, предобработки, миграции. Проект является центральной дата структурой компании. Глобальная задача: строительство центральной платформы данных.
Что нужно делать
- Помогать команде Data Engineering в диагностике и устранении потенциальных инфраструктурных проблем, влияющих на выполнение Airflow DAGs;
- Поддерживать команды Data Engineering по вопросам, связанным с Kubeflow Spark. Operator: проверка гипотез, помощь в отладке и подготовка тестовых SparkApplication;
- Разрабатывать базовые Helm-чарты для быстрого прототипирования и проверки инфраструктурных гипотез;
- Участвовать в миграции Airflow 2.x на Airflow 3.x;
- Собирать требования к библиотекам и внесение изменений в Docker-образы, используемые Data Engineering-командой;
- Развивать CI/CD-процессов для сборки и доставки DBT-моделей, включая blue-green deployment.
Какой опыт и знания нужны
- Уверенный опыт работы с Airflow в роли инфраструктурного инженера; понимание архитектуры Airflow и различий между LocalExecutor, KubernetesExecutor и CeleryExecutor;
- Базовые, но уверенные знания Kubernetes и способность оперативно диагностировать и устранять типовые проблемы на уровне Deployment, StatefulSet, CRD и PVC;
- Понимание принципов работы Helm, умение дорабатывать существующие Helm-чарты и создавать новые; опыт работы с umbrella chart будет преимуществом;
- Базовое понимание GitOps-подхода и практический опыт работы с Argo CD будет преимуществом;
- Базовый опыт работы с GitLab CI, включая умение собирать и поддерживать CI/CD-пайплайны на основе шаблонов;
- Готовность брать ownership за критичные инсталляции и сервисы, с которыми ежедневно работают команды Data Engineering.
Условия
- Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;
- Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;
- Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.;
- Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников;
- Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;
- Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.
Инфраструктура
DevOps
