13 июл.
Продуктовый аналитик
ЗП не указана, ≈ 234 620 ₽
Senior
Наша команда развивает Alice AI LLM — технологию, которая лежит в основе разных продуктов Яндекса. Главный из этих продуктов — чат с Алисой.
Мы фокусируемся на продуктовых агентских сценариях: задачах, где пользователь с помощью Алисы взаимодействует с экосистемой Яндекса. Наша цель — научить базовую модель идеально ориентироваться в этих сценариях, выступая умным и надёжным помощником-агентом (например, чтобы Алиса могла сама заказать продукты в Лавке, выбрать лучший смартфон на Маркете или спланировать сложный отпуск в Путешествиях).
Наша главная задача — придумать критерии и построить надёжные бенчмарки, на которых можно честно сравнивать разные модели между собой в реальных продуктовых сценариях. Вам предстоит формулировать метрики оценки для задач, где модель взаимодействует с сервисами Яндекса (и не только!), и делать эти метрики стабильными.
Вам предстоит много кодить на Python: оборачивать API сервисов (Маркета, Яндекс Еды и других) в виртуальные среды, в которых будут тестироваться, работать и обучаться наши агенты.
Современные модели учатся через взаимодействие со средой. Вам предстоит формулировать сложные задания и собирать эталонные траектории действий (golden trajectories). Вы будете управлять пайплайнами сбора данных, комбинируя разные подходы: работу с внутренними редакторами, краудсорс и автоматическую разметку через LLM-as-a-judge.
Всё ещё остаются сложные продуктовые сценарии, с которыми модель пока не справляется. Вы будете находить эти узкие места, разбирать проблемы и адаптировать под них бенчмарки. Для этой задачи крайне важна ваша личная насмотренность в текстах и логах моделей: способность «руками» прочувствовать данные и понять, как максимизировать рост качества.
Мы ждём, что вы
Умножим шансы на каждом этапе поиска и поможем получить выгодный оффер
Узнать большеБудьте осторожны: если работодатель просит войти через Google, iCloud или Госуслуги, прислать код или пароль, запустить ПО или перевести деньги — это мошенники.
Будьте осторожны: если работодатель просит войти через Google, iCloud или Госуслуги, прислать код или пароль, запустить ПО или перевести деньги — это мошенники.
