Data Engineer

Data Engineer

О проекте

Ищем Data Engineer в команду, которая строит и развивает платформу данных: от сбора и обработки до хранения и предоставления данных для аналитики, продуктовых команд и ML. Важно не просто писать запросы, а проектировать надёжные пайплайны с учётом SLA, качества данных и стоимости.

Чем предстоит заниматься

• Проектировать и развивать ETL/ELT-пайплайны (batch и/или streaming);

• Интегрировать данные из различных источников (БД, API, файлы, стримы);

• Развивать слой хранения (DWH / Data Lake / Lakehouse, витрины данных);

• Обеспечивать качество данных (валидации, мониторинг, алерты, SLA);

• Оптимизировать производительность пайплайнов и запросов;

• Работать с оркестрацией (Airflow или аналоги);

• Обрабатывать ошибки и обеспечивать надёжность пайплайнов.

Ключевое стратегическое требование

Native-пользователь AI-инструментов — обязательно.

Мы ищем специалиста, который ежедневно использует ИИ-инструменты в инженерной работе: для исследования решений, подготовки черновиков документации, анализа логов и инцидентов, генерации технических артефактов, автоматизации рутинных задач и ускорения операционной работы. Важно уметь:

• писать и поддерживать промпты / шаблоны;
• вести библиотеку полезных артефактов и рабочих паттернов;
• выстраивать hybrid-workflow (человек + ИИ) с обязательным review результата;
• понимать риски LLM: галлюцинации, утечки, ограничения контекста — и закладывать проверки и контроли качества в инженерные процессы.

Наши ожидания

Обязательно:

• Коммерческий опыт работы в Data Engineering от 4 лет;
• Сильный Python для разработки и поддержки data-пайплайнов;
• Глубокий SQL: сложные запросы, CTE, оконные функции, оптимизация;
• Опыт проектирования и поддержки ETL/ELT-пайплайнов в production;
• Понимание моделирования данных: DWH, витрины данных, star schema / snowflake;
• Опыт работы с оркестраторами: Airflow или аналогами;
• Опыт работы с аналитическими / колоночными БД;
• Базовые инженерные практики: Git, Linux, Docker;
• Понимание вопросов качества данных, SLA, мониторинга и обработки ошибок в пайплайнах.

Будет плюсом:

• Опыт работы со streaming: Kafka и другие стриминговые системы;
• Опыт работы со Spark / PySpark и другими Big Data-инструментами;
• Опыт работы с dbt;
• Опыт использования Terraform или других IaC-инструментов;
• Опыт построения Data Lake / Lakehouse;
• Опыт работы с инструментами Data Quality: Great Expectations и аналоги;
• Опыт работы с облачными платформами: AWS / GCP / Azure;
• Знание Scala или Java.

Этапы:

• Скрининг (30 минут);

• Техническое интервью (1 час 30 минут).

Условия:

• Работу в аккредитованной IT-компании с сильной инженерной культурой;

• Возможность не просто поддерживать инфраструктуру, а проектировать и развивать платформенные решения;

• Конкурентный уровень дохода, обсуждаемый индивидуально по вашему опыту и экспертизе;

• Гибкий график и полностью удалённый формат работы;

• Высокий уровень автономности, минимум бюрократии и реальное влияние на архитектурные решения;

• Сложные и интересные задачи с большими данными.