ML-разработчик в команду базового алайнмента Alice AI LLM

Наша команда занимается стадией алайнмента Alice AI LLM. Мы превращаем LLM, обученную предсказывать следующий токен в документах из интернета, в диалогового агента, способного выполнить широкий спектр запросов пользователя.

Какие задачи вас ждут

• Обучение следованию инструкциям пользователя (Supervised Fine-tuning, SFT)
  Чтобы превратить предобученную LLM в диалогового агента, нужно собрать множество демонстраций желаемого поведения модели на разнообразных задачах. Какие именно задачи важнее, насколько сложными могут быть демонстрации, каких навыков модели не хватает для решения конкретной задачи и как модель может выучить этот навык на стадии алайнмента? Это примеры вопросов, на которые мы ищем ответы с помощью ML-экспериментов.
• Обучение модели на основе пользовательских предпочтений и верифицируемых наград (RLHF, RLVR)
  После стадии SFT качество ответов модели даже на один и тот же запрос может очень сильно различаться. Мы собираем разметку относительного качества ответов модели и учим её генерировать ответы наилучшего качества. На этом этапе мы применяем алгоритмы online-RL (GRPO, GSPO) и используем комбинацию стадий RLHF и RLVR. Также мы занимаемся обучением с одновременным учётом нескольких аспектов качества.
• Обучение модели наград (Reward Modeling)
  Разметка качества ответов людьми — очень дорогой и небыстрый процесс, а алгоритмы online-RL требуют оценки в реальном времени. Мы развиваем свою линейку reward-моделей, которые могут быстро оценивать качество ответа модели на уровне человека. Кроме базового обучения моделей наград, мы применяем подходы с использованием рубрицированных оценок, а также используем LLM-as-a-Judge (LLMaJ) напрямую.
• Объединение экспертных моделей
  Мы занимаемся объединением экспертных моделей, обученных на разных доменах, в единую модель, которая сочетает в себе сильные качества каждой из них. Для этого мы активно исследуем и применяем такие методы, как On-Policy Distillation (OPD).

Что ждёт

• Отлично знаете классические методы ML и NLP
• Понимаете, как устроены современные LLM, решали с их помощью прикладные задачи или имеете релевантный исследовательский опыт

Бенефиты работы в Яндексе

Здоровье

• Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят:

Базовые услуги

• Плановая помощь и неотложная за рубежом, страхование от несчастных случаев для любителей активного отдыха и лечение критических заболеваний.

Ментальное здоровье

• Врачи в клиниках по ДМС, онлайн-консультации с психологами. А также психотерапия в офисах, где есть кабинет психотерапевта.

Ежегодные чекапы

• Мы за превентивную заботу о здоровье, поэтому по ДМС можно проходить чекапы и регулярно вакцинироваться.

Больничный

• 30 дней в году оплачиваются — вы получите полную зарплату, как будто не болели.

Стоматология

• Плановые процедуры, профессиональная чистка и экстренная помощь за рубежом.

Коррекция зрения

• После года работы ДМС покрывает коррекцию зрения и хирургическое лечение косоглазия.

Терапевты в офисах

• Если почувствовали себя неважно, можно обратиться в кабинет врача-терапевта, такие есть во всех крупных офисах Яндекса.

Ведение беременности и роды

• Оплачиваем ведение беременности и роды для сотрудниц и жён сотрудников, которые с нами более двух лет.

• Страховка для родственников по системе 80/20: мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%. В страховку входит всё то же самое, что и у вас.