Мы — R&D-команда Яндекса, которая переносит подходы из мира LLM в рекомендательные системы. Наша цель — создать персонализацию следующего поколения на базе трансформерных архитектур.
Мы строим фундаментальные модели с нуля, экспериментируем с парадигмами обучения и внедряем SOTA-архитектуры в ключевые сервисы с нагрузкой в сотни тысяч RPS. Здесь нет жёстких фреймворков и готовых ответов — мы ищем пути первыми. У нас есть экспертность, огромный объём уникальных поведенческих данных и выделенный GPU-кластер для масштабных ML-экспериментов.
Мы представляем пользователя как упорядоченный набор событий — историю, которая кодируется с помощью трансформерных моделей в сжатое представление и используется для кандидатогенерации и ранжирования. В области рекомендательных систем нет устоявшегося подхода, поэтому мы активно экспериментируем с постановкой задачи, рецептом обучения и архитектурами.
Раннее связывание пользователя и кандидата в трансформерных моделях — это способность модели «видеть» историю и кандидата через attention-механизм. Такие модели вычислительно дороги в рантайме, сложны в обучении, но дают значительный буст качества.
Важный челлендж для нас — заставить модели работать в рантайме под высокой нагрузкой. Мы исследуем архитектурные оптимизации и используем специализированные фреймворки для инференса, а иногда даже пишем свои CUDA-кернелы на Triton.
Мы поощряем написание статей и поездки на топовые конференции. В прошлом году мы представили Yambda на RecSys 2025, следующая цель — публикация новых подходов к ранжированию.
Как R&D-команда, мы не ограничены одним продуктом или одной технологией. При желании можно попробовать разные подходы в рекомендациях или погрузиться в другие сервисы.
.png&w=1920&q=75){kind=small}
