Мы развиваем собственную геоплатформу Wildberries, которая обеспечивает работу сервисов отображения карт, геопоиска и маршрутизации для других сервисов компании. Платформа обрабатывает большие объёмы геоданных: адресные базы, дорожные графы, пользовательские треки и события дорожной ситуации. Data-инженер будет отвечать за построение и развитие инфраструктуры обработки данных, подготовку датасетов для ML-моделей, алгоритмов поиска и маршрутизации.
Вам предстоит:
- Разрабатывать и поддерживать ETL/ELT-пайплайны обработки геоданных (адресные данные, дорожные графы, события трафика, пользовательские треки);
- Обеспечивать сбор, очистку и нормализацию геоданных из различных источников (внутренние сервисы, внешние датасеты, телеметрия);
- Подготавливать датасеты для ML-моделей геопоиска и маршрутизации (ранжирование результатов поиска, ETA, анализ трафика);
- Разрабатывать хранилища и витрины данных для аналитики, алгоритмических сервисов и ML-команд;
- Оптимизировать производительность обработки больших объёмов геоданных и обеспечивать надёжность пайплайнов;
- Работать совместно с командами ML, алгоритмистов и backend-разработчиков над интеграцией данных в сервисы геоплатформы.
Вы нам подходите, если:
- Имеете опыт работы Data-инженером от 3-х лет и опыт построения ETL/ELT-процессов;
- уверенно владеете Python, SQL, опыт работы с инструментами обработки больших данных, желательно владение Go или желание изучения (Основной язык сервисов);
- имеете опыт работы с системами обработки данных (Spark, Hadoop, ClickHouse, Kafka или аналогичные технологии), опыт работы и понимание архитектуры OpenSearch/ElasticSearch;
- понимаете принципов построения хранилищ данных и витрин для аналитики и ML;
- имеете опыт работы с большими объёмами данных и оптимизации пайплайнов обработки;
- работали с геоданными, треками или графами дорог будет преимуществом.
