20 мая
Ведущий инженер данных DWH
ЗП не указана, ≈ 239 868 ₽
Москва
Удалённо, Гибрид
Senior
Яндекс Путешествия — сервис, который поможет спланировать поездку за несколько минут: подобрать билеты, отель или апартаменты, почитать отзывы и оплатить всё картой.
Наша команда превращает терабайты данных в понятные и полезные инсайты, которые используют аналитики и сервис, помогающий миллионам людей путешествовать. Продукт растёт огромными темпами, и вместе с ним растут наши задачи — поэтому мы постоянно развиваем собственное DWH.
Хранилище у нас построено на системах хранения данных YTsaurus (кластер MapReduce собственной разработки) и ClickHouse. Для разработки, оркестрации и мониторинга ETL-процессов используется собственный фреймворк, созданный внутри Яндекса. Для организации модели хранения данных на разных уровнях применяются различные методологии проектирования хранилищ данных: Lambda-архитектура, Data Lake, Data Vault.
Какие задачи вас ждут
Разработка, сопровождение и ревью ETL-процессов поставки данных
Вам предстоит создавать конвейеры для извлечения, трансформации и загрузки данных из различных источников, настраивать их расписание и мониторинг. Важно регулярно проверять и улучшать код, быстро исправлять ошибки, а также тщательно документировать все преобразования и потоки данных — как собственные, так и коллег, обеспечивая соответствие стандартам качества и производительности.
Проектирование структуры хранения данных в разных слоях хранилища
Вы будете определять оптимальные схемы организации данных для каждого слоя, учитывая требования к скорости запросов и объёму хранения. Нужно разрабатывать модели данных, настраивать партиционирование, индексацию и сжатие для повышения производительности, а также согласовывать структуры с командами аналитики и разработки и адаптировать схемы, если бизнес-процессы меняются.
Выявление и оптимизация неэффективных участков в процессах поставки данных
Вы станете анализировать время выполнения ETL-задач, профилировать данные для обнаружения аномалий и избыточности, пересматривать алгоритмы трансформации для снижения нагрузки на систему.
Погружение в данные прикладных бизнес-областей и становление в них экспертом
Вы будете детально изучать бизнес-процессы и ключевые метрики компании, разбираться в логике расчёта показателей и источниках их формирования.
Мы ждем, что вы
Будет плюсом, если вы
Расширенный ДМС со стоматологией, онлайн-консультациями 24/7.
Коррекция зрения, регулярные чекапы, ведение беременности и компенсация психологической помощи.
Ежедневный лимит на бейдже для покупки еды и напитков в кофейнях, ресторанах около офиса.
Бейджик Яндекса помогает не только оплачивать еду, но и экономить в самых разных местах: от спортивных магазинов и отелей до груминг-салонов и образовательных курсов.
Заботимся о вашей энергии и тонусе.
Спортзалы в офисах, групповые тренировки для любого уровня и разные направления: йога, бокс, танцы и другие.
Место, где есть всё.
От массажных кабинетов и зон отдыха до бесплатной парковки для авто и велосипедов.
Есть всё, чтобы учиться: внутренняя платформа с 100+ курсами, менторство, программы для руководителей.
Оплачиваем участие в профильных конференциях и помогаем подготовиться к публичным выступлениям.
Можно получить заём с льготной ставкой на покупку жилья или ремонт после года работы при соответствии правилам программы.
