Data Engineer (Trust & Safety)

Вместе с масштабным развитием IT-направления мы формируем культуру Trust and Safety, гарантируя непрерывную безопасность и доверие между компанией, её сотрудниками, пользователями и клиентами.

Сейчас мы запускаем новое направление — активную поддержку аналитических команд. Мы хотим не просто дать аналитикам инструмент, а помочь им эффективно им пользоваться: строить правильные витрины, оптимизировать запросы, внедрять проверки качества данных. Для этого нам нужен инженер, который будет связующим звеном между платформой и пользователями.

Нам нужен Data Engineer, которому интересно работать с людьми и данными одновременно. Вы будете тем человеком, к которому аналитики приходят за помощью: «Запрос тормозит», «Нужна витрина для дашборда», «Данные какие-то странные». Вы будете разбираться, оптимизировать, автоматизировать и превращать разовые решения аналитиков в надежные продуктивизированные пайплайны.

Вам предстоит:

• Проектирование и разработка витрин данных: строить эффективные витрины (Data Marts) под конкретные задачи аналитиков и дашборды. Обеспечивать правильную структуру, агрегацию и обновление данных.
• Оптимизация запросов пользователей: разбирать медленные и неэффективные запросы аналитиков (в Clickhouse, Trino), находить узкие места, переписывать, обучать пользователей писать оптимальные запросы.
• Настройка и поддержка ETL/ELT пайплайнов: писать и поддерживать даги в Airflow для загрузки и трансформации данных с использованием dbt, обеспечивать их стабильность и прозрачность.
• Внедрение Data Quality: подбирать и настраивать совместно с аналитиками тесты качества данных для витрин и промежуточных слоев. Следить, чтобы аналитики доверяли данным.
• Продуктивизация наработок аналитиков: анализировать, какие запросы и скрипты пишут аналитики вручную, и автоматизировать их. Превращать ad-hoc решения в регулярные процессы.
• Обратная связь для платформенной команды: собирать боли пользователей их потребности.

Вы нам подходите, если:

• Имеете опыт работы Data инженером от 4 лет;
• Обладаете отличными знаниями SQL: умение писать сложные запросы, оптимизировать их;
• Опытны в работе с Clickhouse (понимание особенностей, оптимизация запросов, знание системных таблиц);
• Имеете опыт работы с dbt (модели, тесты, документирование);
• Успешно разрабатывали пайплайны в Airflow;
• Уверенно владеете Python для написания скриптов обработки данных и автоматизации;
• Имеете опыт проектирования витрин данных (Data Marts) под аналитические задачи;
• Понимаете важности качества данных и имеете опыт настройки тестов (хотя бы на уровне понимания, какие метрики отслеживать);
• Умеете общаться с пользователями, объяснять сложные вещи просто, помогать, документировать. Проявлять терпение и клиентоориентированность;
• Способны разбираться в «чужом» коде и запросах, дорабатывать и продуктивизировать их.

Будет плюсом:

• Опыт поддержки аналитических команд или работы в роли аналитика в прошлом.
• Опыт написания документации и проведения обучающих сессий для коллег.