Мы строим корпоративную дата-платформу следующего уровня. Это новый сервис с амбициозной задачей: трансформировать наработки компании в единое стандартизированное решение для работы с данными. Отказываемся от легаси, проектируем архитектуру заново, сохраняем лучшее (например, Apache Spark), и постепенно переносим существующие пайплайны на новую платформу.
С нуля — это не «начать с чистого листа», это возможность заложить фундамент, который будет надёжным, масштабируемым и понятным десяткам инженерных команд. Именно сейчас мы переопределяем техстек, архитектурные подходы, процессы. И именно сейчас у тебя есть шанс поучаствовать в запуске платформы, куда будут стекаться все корпоративные данные.
Что предстоит делать:
- Разрабатывать с нуля MVP новой дата-платформы и инфраструктуры для ingest/transform;
- Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse);
- Работать с большими объёмами данных и высоконагруженными Kafka-топиками;
- Строить отказоустойчивые пайплайны обработки и доставки данных;
- Участвовать в архитектурных решениях, внедрять best practices хранения, мониторинга и качества данных;
- Проектировать витрины данных под продуктовую и управленческую аналитику (OLAP);
- Сопровождать миграцию BI-отчётов на новую платформу (например, DataLens, Power BI).
Почему это интересно:
- Ты действительно будешь создавать платформу с нуля — не “настроил Airflow и готово”, а архитектура верхнего уровня с безопасностью, мониторингом и многопользовательской нагрузкой;
- Прямое влияние на технологический курс всей компании: твои решения будут использовать десятки команд;
- Работа с современным стеком: Spark 3+, Kafka, S3, ClickHouse, и BI-инструментами;
- Возможность реализовать техрешения, которые трудно было бы внедрить в рамках существующего кода/подходов;
- Технический вызов: миграция с Hadoop, масштабируемость, отказоустойчивость, строгие SLA на доставку данных.
Мы будем рады специалисту, который:
- Имеет 3+ лет опыта на позиции Data Engineer / Big Data Engineer;
- Хорошо понимает, как работает Spark и умеет его готовить;
- Работал с ClickHouse и знает, как «выжать» из него максимум;
- Знаком с построением дата-архитектуры (DWH, Lake, OLAP, ETL/ELT, Data Goverments);
- Умеет проектировать пайплайны под отказоустойчивость;
- Хорошо владеет одним из языков программирования;
- Знает SQL и может читать логику отчетов без боли.
Плюсом будут:
- Опыт построения дата-платформ (SelfService инструменты и процессы);
- Имеет опыт работы с высоконагруженной Kafka (десятки/сотни тысяч событий);
- Знание инструментов мониторинга и автоматического контроля качества данных (Data Quality, Data contracts);
- Опыт построения Data Lineage и работа с Data Catalog;
- Инфраструктурный опыт: Docker, Kubernetes, CI/CD.
Как мы работаем:
- Не боимся убирать легаси — мы осознанно избавляемся от устаревших решений;
- Оцениваем эффективность не по объёму кода, а по бизнес-ценности;
- Любим, когда инженер предлагает нестандартные, но обоснованные решения;
- Верим, что архитектура важна, если её понимают (human-friendly документация — мастхэв);
- Умеем договариваться — и с бизнесом, и между собой.
Что мы предлагаем:
- 2ГИС — аккредитованная IT-компания;
- У нас можно работать удалённо. Для нас важен специалист, а не его локация. Если хочешь работать в гибридном формате, у нас есть офисы в Москве, Санкт-Петербурге, два классных офиса в Новосибирске;
- Само собой, полностью белая зарплата. Дополнительные дни отпуска за стаж работы в компании;
- Заботимся о здоровье: ДМС и возможность получать онлайн-консультации и терапевта, невролога, психолога и медицинского агента;
- Если хочешь делиться своим опытом, мы только за — поможем с выступлениями на конференциях и статьями для Хабра;
- Есть собственный учебный центр: курсы, тренинги и книги для прокачки скиллов.
