Data Engineer в команду Integration
Аналитическая платформа
Кластер Analytics Platform
Локация: Москва, можно удаленно
В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы manifesto.avito.com
О команде
Команда Data-loadka создаёт и поддерживает self-service инструменты загрузки данных аналитической платформы компании. В основе загрузок лежит раскладка в таблицы 6НФ по методологии Anchor Modeling, на которой строится слой витрин. В качестве основного движка расчётов мы используем Trino / Vertica и активно занимаемся разработкой кастомных Trino-плагинов для загрузки данных.
Вам предстоит:
- перерабатывать архитектуру инструмента загрузки данных в DWH (6НФ);
- поддерживать инфраструктурные компоненты;
- адаптировать Trino-плагины под потребности компании;
- работать над инфраструктурой для миграций ELT Vertica -> Trino.
Мы ждём, что вы:
- имеете опыт работы с Lakehouse хранилищами и/или колоночными базами данных: загрузка данных в S3-like хранилища и оптимизация запросов на их основе;
- пишете на Python или другом языке программирования;
- хотите работать в платформенной команде без чётких требований к продуктам.
Будет здорово, если вы:
- имеете опыт разработки пайплайнов обработки данных;
- работали с Trino, ClickHouse, Vertica;
- знаете Java.
Работа у нас — это:
- возможность реализовать свои идеи в проекте с многомиллионной аудиторией;
- талантливая команда, готовая поддержать ваши инициативы;
- мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы;
- прозрачная система премий, достойная зарплата — размер обсудим на собеседовании;
- личный бюджет на обучение, который можно тратить на книги, курсы и конференции;
- забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист;
- удалёнка из любой точки мира или замечательный офис в двух минутах от метро «Белорусская»: панорамный вид на центр города, места для уединённой работы и зоны отдыха.
Про кластер Подготовка к интервью
