VK — место встречи лучших
Вместе мы создаём новые проекты в онлайне и не только. Каждый день развиваем технологии и сервисы, которыми гордимся. И не хотим останавливаться на достигнутом.
Мы — это VK Team, команда профессионалов, которые объединились ради больших свершений.
Каждый день мы сталкиваемся со сложными технологическими вызовами и преодолеваем их вместе с командой. Мы делаем так, чтобы пользователям было интересно и комфортно решать повседневные задачи при помощи наших онлайн-сервисов.
В VK возможно всё. А с VK Team легко воплощать мечты в реальность.
Мы — команда разработки OneDWH, единого DWH для всей компании. Он приходит на смену разрозненным решениям, которые команды строили каждая под себя: вместо множества обособленных хранилищ — одно общее. Данные живут в кластерах YTsaurus. В зоне ответственности команды — несколько доменов:
- Data Catalog — каталог, в котором поставщики данных публикуют метаинформацию о своих таблицах и зависимостях между ними. Благодаря этому можно проследить всю цепочку — от сырых логов до готовых витрин
- ETL-фреймворк — таблицы и работающие с ними процессы (YQL, Python и Spark) описаны декларативно в отдельном репозитории. У фреймворка собственный оркестратор и движок динамического распределения ETL между кластерами — это сокращает time-to-market поставок и оптимизирует потребление ресурсов. Также мы обеспечиваем доступность критичных данных даже при даунтайме одного из кластеров YTsaurus
- Data Quality (DQ) — следим за соблюдением сроков поставок критичных данных и уведомляем пользователей об их срывах. Развиваем проверки качества данных
Задачи
- Развивать платформу DWH как продукт
- Делать удобные инструменты для дата-инженеров: поиск данных, заведение и сопровождение ETL
- Делать удобные инструменты для аналитиков, которые работают с данными в OneDWH
- Работать с графами зависимостей ETL-процессов: планирование выполнения, динамическое распределение по кластерам, оптимизация
- Строить отказоустойчивые решения для критичных данных
Требования
- Опыт разработки сервисов на Go
- Уверенное владение PostgreSQL
- Опыт работы с Kafka
- Хорошее знание алгоритмов и структур данных, особенно графовых
Будет плюсом
- Знакомство с Java, Python, Spark или YTsaurus
- Опыт в области DWH, ETL или дата-инженерии
- Опыт работы с Airflow
- Опыт работы с CI, CD-пайплайнами в GitLab или другой системе
- Желание тесно работать с дата-инженерами и аналитиками: вникать в их задачи и делать продукты, которые упрощают им жизнь
Работа в VK — это:
- Возможность создавать продукты и сервисы, которые меняют к лучшему жизнь миллионов пользователей
- Амбициозные задачи, масштабные проекты и возможности для профессионального роста
- Система гибких льгот: широкий набор базовых (ДМС, компенсация питания, подписки и сервисы) и персонализированный выбор дополнительных бенефитов в 14 категориях
- Нескучное обучение и развитие экспертности: раскрываем таланты и способности, укрепляем культуру обмена знаний
- Совместные увлечения и мероприятия: сообщества по интересам, семейные праздники, новогодние активности, летние фестивали и другие события
- Активное спортивное комьюнити: 17 корпоративных команд по 12 видам спорта — от бега, футбола и баскетбола до картинга, сквоша и большого тенниса
- Бесплатные подписки на развлекательные и образовательные сервисы VK
Присоединяйтесь к нашей команде, чтобы создавать сервисы и технологии, которые улучшают качество жизни миллионов людей.
