Описание вакансии: Мы ищем талантливого и мотивированного инженера по данным для присоединения к нашей динамичной команде. Идеальный кандидат должен иметь сильный опыт в разработке программного обеспечения, инженерии данных и облачных технологиях. Вы будете играть ключевую роль в разработке, внедрении и постоянном использовании нашей архитектуры Data Lakehouse, обеспечивая высокую доступность, масштабируемость и производительность – на основе требований, сформированных через бизнес-анализ. Эта роль будет работать под руководством локального лидера, базирующегося в России, и сотрудничать с коллегами, охватывающими Full Stack Engineering и Reliability Engineering – также в рамках более широких подразделений EMEA и Global Chapters.
Основные обязанности:
- Проектировать, разрабатывать и поддерживать программные решения для архитектуры Data Lakehouse.
- Сотрудничать с кросс-функциональными командами для определения, проектирования и выпуска новых функций.
- Реализовывать процессы загрузки, трансформации и хранения данных с использованием инструментов, аналогичных Apache Airflow, Trino и dbt.
- Обеспечивать качество и целостность данных посредством тщательного тестирования и валидации, используя принципы интеллектуальной автоматизации для разработки, тестирования и выпуска.
- Мониторить производительность системы и устранять проблемы для обеспечения оптимальной работы в соответствии с ожидаемыми SLA.
- Участвовать в обзорах кода и вносить вклад в инициативы по непрерывному улучшению, работая с и направляя сторонних поставщиков.
- Следить за новыми технологиями и тенденциями отрасли и применять их в экосистемах России.
- Соблюдать и использовать лучшие практики, применимые из Global Data Engineering Chapter, обеспечивая их релевантность для локального российского рынка.
Требования:
- Степень бакалавра в области информатики, инженерии или смежной области.
- Подтвержденный опыт в разработке программного обеспечения с акцентом на инженерию данных и облачные технологии, включая Яндекс, AWS, Azure.
- Владение языками программирования, такими как Python, Java, SQL или Scala.
- Опыт работы с фреймворками обработки данных, такими как Apache Airflow, Trino и dbt.
- Знание облачных платформ, предпочтительно Яндекс Облако.
- Глубокое понимание моделирования данных, процессов ETL и концепций хранилищ данных.
- Отличные навыки решения проблем и внимание к деталям.
- Сильные коммуникативные и навыки сотрудничества.
- Английский язык – свободное владение.
Желательные квалификации:
- Опыт работы с платформами оркестрации контейнеров, такими как Kubernetes.
- Знание форматов хранения данных, таких как Apache Iceberg.
- Знакомство с инструментами мониторинга, такими как Grafana.
- Понимание требований по защите данных и соблюдению нормативных требований для российского рынка.
