2 июн.
Data Scientist
ЗП не указана
г Москва
Middle
Senior
Ищем Senior DS в команду поиска Самоката на задачу ранжирования поисковых выдач. Фокус — L2-ранжирование, внедрение персонализации, переход к гибридному L1, A/B-эксперименты и работа с метриками качества поиска. Это самостоятельная роль с ответственностью за направление ранжирования.
Задачи
- Развивать L2-ранжирование: улучшать LTR-модель, наращивать набор признаков и повышать качество выдачи.
- Проработать переход к гибридному L1-поиску (лексический поиск + dense retrieval): оценить выигрыш в качестве и стоимость, подготовить к выводу в прод.
- Проектировать A/B-эксперименты и проводить их приёмку совместно с продуктовой аналитикой.
- Разбирать ошибки модели, искать закономерности, формулировать продуктовые гипотезы и ставить эксперименты.
- Писать код моделей и инференса на Python в продакшен-качестве (модульность, тесты, замеры производительности). Вывод в прод и поддержку инфры закрывают MLE.
- Делиться экспертизой по ранжированию с командой и работать в связке с продуктовой аналитикой.
Обязательные навыки
- Опыт от 3 лет в задачах ранжирования, поиска или рекомендательных систем в продакшене.
- Опыт обучения LTR-моделей на градиентном бустинге (XGBoost, LightGBM, CatBoost): кастомные функции потерь, работа с признаками под ранжирование, интерпретация моделей.
- Понимание двухуровневой схемы поиска (отбор кандидатов и реранкинг), метрик ранжирования и их компромиссов на разных этапах.
- Понимание типовых проблем ранжирования (смещения в кликовых данных, дрифты, feedback loop) и подходов к их решению.
- Понимание современных нейросетевых подходов в ранжировании (dense retrieval, нейронные реранкеры, sequence-модели) — применимость и компромиссы.
- Продакшен-качество Python-кода: модульность, тесты, читаемость, готовность к передаче MLE на продуктивизацию без переписывания.
- Самостоятельная разработка пайплайнов подготовки данных на PySpark и Polars — нетривиальные трансформации без помощи DA/DE.
- Понимание A/B-тестирования: устройство эксперимента, классы метрик (целевые, прокси, защитные, информационные), формирование набора метрик и ожидаемых эффектов до запуска.
- Умение разбирать ошибки модели, превращать их в продуктовые гипотезы и связывать метрики качества модели с метриками бизнеса и воронкой конверсии.
- Самостоятельность в работе с задачами высокой неопределённости: декомпозиция, оценка сроков, проактивное обсуждение рисков с командой.
Желательные навыки
- Опыт работы с поиском в e-commerce / e-grocery.
- Опыт построения гибридного поиска и dense retrieval; работа с ANN-индексами и метриками текстовой близости.
- Опыт с LLM-as-judge для оценки качества выдачи и автоматизации разбора ошибок.
- Опыт дистилляции LLM или cross-encoder-моделей в компактные модели для онлайн-инференса.
- Знакомство с бандитами (multi-armed, contextual) и их применением в ранжировании — для борьбы с feedback loop и поддержания exploration.
- Опыт офлайн-обучения ранжирующих моделей на кликовых данных и работы с debias-методами.
- Знакомство с FastAPI и asyncio — типовой стек ML-сервисов в команде.
- Готовность делиться экспертизой и помогать расти коллегам.
