Senior Data Engineer в MAX

VK — место встречи лучших

Вместе мы создаём новые проекты в онлайне и не только. Каждый день развиваем технологии и сервисы, которыми гордимся. И не хотим останавливаться на достигнутом.

Мы — это VK Team, команда профессионалов, которые объединились ради больших свершений.

Каждый день мы сталкиваемся со сложными технологическими вызовами и преодолеваем их вместе с командой. Мы делаем так, чтобы пользователям было интересно и комфортно решать повседневные задачи при помощи наших онлайн-сервисов.

В VK возможно всё. А с VK Team легко воплощать мечты в реальность.

Создаём единую коммуникационную платформу, которая станет универсальным решением для всех платформ группы по общению пользователей.

Задачи

• Проектировать, реализовывать и оптимизировать сложные ETL-процессы (в том числе разрабатывать DAG для автоматизации)
• Участвовать в проработке и пилотировании нового: Data Quality, развитие собственного ETL-фреймворка, тесные интеграции с аналитическими инструментами
• Работать с данными на каждом этапе их трансформации: от появления информации в конкретном источнике до принятия решений на данных
• Извлекать из исходных данных ценную информацию и скрупулёзно обрабатывать её для последующего анализа
• Реализовывать стабильный расчёт бизнес-метрик вместе с командой аналитиков
• Поддерживать и модифицировать созданные решения, обеспечивать доступность сервиса и корректность данных для принятия решений

Требования

• Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов
• Умеете проектировать DWH: слои, модели хранения данных, процессы ETL
• Хорошо понимаете принципы работы распределённых систем Hadoop или YTsaurus, ClickHouse
• Использовали Airflow, Luigi или другой оркестратор
• Умеете выбирать технологии для решения конкретных задач
• Понимаете принципы работы инструментов мониторинга и способны настраивать алерты для отслеживания состояния ETL-процессов
• Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными
• Эффективно общаетесь с людьми, находите общий язык с разными специалистами

Работа в VK — это:

• возможность создавать продукты и сервисы, которые меняют к лучшему жизнь миллионов пользователей;
• амбициозные задачи, масштабные проекты и возможности для профессионального роста;
• совместные интересы и увлечения: помогаем раскрывать таланты и отлично проводить свободное время;
• работа в команде профессионалов из разных сфер, которые всегда готовы поделиться опытом;
• программа благополучия: заботимся о здоровье и хорошем самочувствии сотрудников;
• компенсация питания в кафе и ресторанах рядом с офисами — 800 рублей в день;
• компенсация спортивных активностей — 30 000 рублей в год в регионах и 35 000 рублей в год в Москве и в Санкт-Петербурге;
• 17 корпоративных команд по 12 видам спорта.

Присоединяйтесь к нашей команде, чтобы создавать сервисы и технологии, которые улучшают качество жизни миллионов людей.