Вместе с масштабным развитием IT-направления мы формируем культуру Trust and Safety, гарантируя непрерывную безопасность и доверие между компанией, её сотрудниками, пользователями и клиентами.
Сейчас мы запускаем новое направление — активную поддержку аналитических команд. Мы хотим не просто дать аналитикам инструмент, а помочь им эффективно им пользоваться: строить правильные витрины, оптимизировать запросы, внедрять проверки качества данных. Для этого нам нужен инженер, который будет связующим звеном между платформой и пользователями.
Нам нужен Data Engineer, которому интересно работать с людьми и данными одновременно. Вы будете тем человеком, к которому аналитики приходят за помощью: «Запрос тормозит», «Нужна витрина для дашборда», «Данные какие-то странные». Вы будете разбираться, оптимизировать, автоматизировать и превращать разовые решения аналитиков в надежные продуктивизированные пайплайны.
Вам предстоит:
- Проектирование и разработка витрин данных: строить эффективные витрины (Data Marts) под конкретные задачи аналитиков и дашборды. Обеспечивать правильную структуру, агрегацию и обновление данных.
- Оптимизация запросов пользователей: разбирать медленные и неэффективные запросы аналитиков (в Clickhouse, Trino), находить узкие места, переписывать, обучать пользователей писать оптимальные запросы.
- Настройка и поддержка ETL/ELT пайплайнов: писать и поддерживать даги в Airflow для загрузки и трансформации данных с использованием dbt, обеспечивать их стабильность и прозрачность.
- Внедрение Data Quality: подбирать и настраивать совместно с аналитиками тесты качества данных для витрин и промежуточных слоев. Следить, чтобы аналитики доверяли данным.
- Продуктивизация наработок аналитиков: анализировать, какие запросы и скрипты пишут аналитики вручную, и автоматизировать их. Превращать ad-hoc решения в регулярные процессы.
- Обратная связь для платформенной команды: собирать боли пользователей их потребности.
Вы нам подходите, если:
- Имеете опыт работы Data инженером от 4 лет;
- Обладаете отличными знаниями SQL: умение писать сложные запросы, оптимизировать их;
- Опытны в работе с Clickhouse (понимание особенностей, оптимизация запросов, знание системных таблиц);
- Имеете опыт работы с dbt (модели, тесты, документирование);
- Успешно разрабатывали пайплайны в Airflow;
- Уверенно владеете Python для написания скриптов обработки данных и автоматизации;
- Имеете опыт проектирования витрин данных (Data Marts) под аналитические задачи;
- Понимаете важности качества данных и имеете опыт настройки тестов (хотя бы на уровне понимания, какие метрики отслеживать);
- Умеете общаться с пользователями, объяснять сложные вещи просто, помогать, документировать. Проявлять терпение и клиентоориентированность;
- Способны разбираться в «чужом» коде и запросах, дорабатывать и продуктивизировать их.
Будет плюсом:
- Опыт поддержки аналитических команд или работы в роли аналитика в прошлом.
- Опыт написания документации и проведения обучающих сессий для коллег.
