Мы создаем технологии автономного вождения. У нас накоплены петабайты данных с проездов, которые нужно превратить в полезный датасет для обучения. Твоя задача — не просто сидеть в Jupyter, а провести анализ и реализовать пайплайны для тегирования сложных дорожных ситуаций.
Чем предстоит заниматься:
- Разработка пайплайнов и эвристик: разработка пайплайнов с использованием методов математической статистики, ML/DL, CV, LLM/VLM и программирования (Python, SQL) для тегирования данных;
- Пайплайны обработки данных: Оборачивание разработанных алгоритмов обработки в воспроизводимые пайплайны для массовой обработки исторических и новых данных (Dagster);
- Работа с данными: Организация эффективного чтения/записи результатов в S3, версионирование экспериментов и датасетов через ClearML.
Что мы ждем от кандидата:
Python & ML Core & CV:
- Отличное знание Python, PyTorch;
- База по Computer Vision (детектирование, сегментация, трекинг объектов).
Работа с данными: - Опыт обработки больших объёмов данных: pandas, numpy, Scikit-learn, XGBoost, SQL или аналоги;
- Опыт использования библиотек визуализации (Matplotlib, Seaborn);
- Умение работать с Docker.
Инструментарий: - Опыт работы с системами трекинга экспериментов (ClearML / MLFlow);
- Опыт работы с оркестраторами: Dagster;
- JupyterHub, как среда для прототипирования.
Будет плюсом:
- ML: Понимание архитектур трансформеров и опыт работы с LLM / VLM (CLIP, LLaVA, GPT-4V API или open-source аналоги);
- Опыт в Autonomous Driving: Понимание сенсорики (Lidar, Radar, Camera) и специфики данных (rosbag, pcap и т.д.);
- Data Engineering: Опыт работы с Spark для препроцессинга данных, ClickHouse/Metabase для поиска и записи данных.
