SoftLight — Мы IT компания, специализирующаяся на дизайне, разработке сайтов, веб и мобильных приложений.
Сейчас мы в поиске Senior Data Engineer на проект в международную E-commerce компанию, которая специализируется на производстве и продаже персонализированных изделий по всему миру.
Основные задачи:
- Разработка и поддержка пакетных (batch) и потоковых (streaming) конвейеров данных в Databricks (PySpark / Spark SQL);
- Оркестрация рабочих процессов с помощью Airflow — создание DAG, управление зависимостями и устранение сбоев;
- Загрузка и обработка потоковых данных из Kafka в lakehouse (озеро-хранилище данных);
- Работа в Unity Catalog для управления данными (data governance), отслеживания происхождения данных (lineage) и прав доступа к схемам;
- Интеграция данных из внешних источников и SaaS-систем (например, маркетинг, CRM, веб-аналитика) через API и коннекторы;
- Внедрение проверок качества данных, мониторинга и оповещений для обеспечения надежности конвейеров;
- Оптимизация задач по производительности и стоимости, а также участие в практиках CI/CD и инфраструктуры как кода (IaC);
- Взаимодействие с командами BI и аналитики для предоставления чистых, хорошо структурированных моделей данных.
Кого мы ищем:
- Опыт работы от 5 лет в области дата-инженерии или на аналогичной должности;
- Отличные знания SQL и уверенное владение Python и Scala;
- Практический опыт работы со Spark / Databricks (или эквивалентными системами распределенной обработки данных);
- Опыт создания и планирования конвейеров с помощью оркестратора (Airflow или аналогичного);
- Понимание архитектуры хранилищ данных (Data Warehouse / Lakehouse) и паттернов ETL/ELT;
- Знакомство с одной из крупных облачных платформ (будет преимуществом);
- Хороший письменный и разговорный английский язык и умение работать самостоятельно в удаленной команде(уровень B2).
Будет плюсом:
- Опыт работы с потоковой передачей данных (Kafka, Spark Structured Streaming);
- Знакомство с Unity Catalog или другими инструментами управления данными (data governance);
- Знание CI/CD, рабочих процессов Git (Git workflows) и инфраструктуры как кода (IaC);
- Опыт оптимизации затрат / FinOps на облачных платформах данных;
- Опыт работы в сфере электронной коммерции (E-commerce) или D2C (Direct-to-Consumer).
Мы предлагаем:
- Возможность влиять на продукт и команду;
- Крутой коллектив профессионалов;
- Гибкие варианты оформления по всему миру;
- Бонусы на спорт или обучение;
- Оплачиваемый отпуск + оплачиваемые больничные.
