Data-инженер в команду SQL-SWAT
Локация Москва, гибрид, удалёнка или офис
В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы manifesto.avito.com
О команде
Команда SQL-SWAT отвечает за бизнес-критичный технический проект миграции DWH с легаси-платформы Vertica на целевую платформу LakeHouse на базе Trino и Ceph. Также команда поддерживает пользователей по вопросам создания витрин данных и пайплайнов в DWH.
Инженеры команды мигрируют объекты DWH, разрабатывают селф-сервис-инструменты для миграции и помогают пользователям работать с ними.
Какие задачи вас ждут:
- разрабатывать сервисы, CLI-инструменты и LLM-инструменты для ускорения и упрощения процесса миграции;
- самостоятельно мигрировать объекты с помощью созданных инструментов:
- транслировать код;
- верифицировать данные;
- переносить историю;
- переключать зависимости;
- обучать и поддерживать пользователей при работе с селф-сервис-инструментами автоматизированной миграции;
- мигрировать сложные и критичные витрины данных на новую платформу с сохранением производительности и соблюдением SLA;
- улучшать существующие инструменты с применением современных технологий, например AI-элементов для ускорения процессов;
- взаимодействовать с владельцами витрин из аналитических команд, согласовывать допустимые расхождения в данных и необходимые изменения бизнес-логики.
Примеры будущих задач:
- доработать сервис трансляции SQL-кода, чтобы ускорить трансляцию на 20%;
- создать LLM-инструменты для верификации данных во время миграции на локальной машине пользователя;
- мигрировать сложные MERGE REFRESH-витрины с учётом специфики Trino и деградацией времени ежедневного расчёта не более чем на 10%;
- оптимизировать витрины на Trino, чтобы снизить потребление вычислительных ресурсов на 20%;
- ответить на вопрос пользователя в чате, например о том, почему витрина не проходит тесты на производительность.
Мы ждем, что вы:
- работали с аналитическими СУБД: Vertica, Snowflake, ClickHouse, StarRocks, Presto, Trino или другими;
- знаете, что для СУБД значит выполнить SQL-запрос, и понимаете, как оптимизировать аналитические запросы;
- разрабатывали пайплайны обработки данных;
- уверенно владеете SQL, включая сложные оконные и аналитические функции;
- разбираетесь в планах запросов и можете оптимизировать запросы;
- разрабатывали сервисы и приложения на Python или Go.
Работа у нас — это:
- возможность реализовывать идеи в проекте с многомиллионной аудиторией;
- возможность предлагать инициативы, проводить эксперименты и внедрять собственные идеи;
- влияние на аналитическую платформу, которой пользуются десятки команд Авито, и на эффективность критичных бизнес-процессов компании;
- рабочее оборудование и всё необходимое для продуктивной работы;
- прозрачная система премий, условия компенсации обсудим на собеседовании;
- возможность внешнего и внутреннего обучения за счёт компании (курсы, тренинги, лекции, обмен опытом и менторство);
- забота о сотрудниках и их здоровье: с первого дня работы вы получите страховку со стоматологией, в офисе ведут приём терапевт и массажист;
- возможность удалённой работы и офис в 2 минутах от метро «Белорусская»: панорамный вид на центр города, места для уединённой работы и зоны отдыха.
Откликнитесь на вакансию
Имя*
Фамилия*
Номер телефона*
E-mail*
Резюме*
Файл Ссылка
Выберите файл или перетащите сюда
Прикрепите файл в формате PDF, DOC, DOCX, RTF до 5 МБ
Ссылка на резюме
Комментарий Например, сопроводительное письмо или ссылка на портфолио
Откуда вы узнали о вакансии?*
Подтверждаю, что предоставленные мной данные в резюме соответствуют действительности
Соглашаюсь на обработку персональных данных на условиях политики
Соглашаюсь на включение моей кандидатуры в кадровый резерв на условиях политики
Отправить отклик
Спасибо за отклик!
Мы рассмотрим ваше резюме и обязательно свяжемся, если навыки и опыт подойдут к требованиям вакансии
Похожие вакансии
Согласно данным Similar Web, Авито — самая посещаемая онлайн-платформа объявлений в мире. Сегодня с помощью Авито можно разместить объявления в категориях: Товары, Авто, Работа, Услуги, Недвижимость.
