Аналитик-разработчик в команду оценки достоверности Алисы AI

Наша основная задача — сделать с высоким качеством сервис разметки достоверности ответов LLM-моделей. На вход он получает диалог и ответы разных релиз-кандидатов, прода, конкурентов и т. д. (в целом всё что угодно), а на выходе выдаёт размеченные ошибками части ответа. Пример можно посмотреть в HTML.

Какие задачи вас ждут

Голденсеты и инструкция

Это ключевая область — можно сказать, сердце разметки.

• Собирать эталоны и узкие бенчи (например, сложная корзинка) для оценки качества исполнителей и агентов.
• Валидировать инструкцию на противоречия и вносить в неё правки, обсуждать с редакторами правки и изменения.
• Размечать ответы для новых направлений. (Например, ответы с файлами на входе — как проверять в случае противоречий в файле и интернете? Как относиться к пропускам информации? А к креативу на фактических данных? — и т. д., всегда много вопросов.)
• Отвечать за качество голденсета — то есть на вопрос «почему мы можем верить, что наш голденсет собран достаточно хорошо?

Исполнители-агенты

Новое направление, много низко висящих фруктов. В нём находятся задачи, связанные с развитием нашего основного агента-фактчекера, и создание новых дополнительных пайплайнов с LLM (например, для сбора голденсетов).

• Развивать имеющегося агента: довести f1 агента на критах до уровня редактора, сделать прокачку дешёвой.
• Собрать набор агентов, которые с высокой полнотой и приемлемой точностью будут готовить разметку.

Исполнители-люди

Классическая работа с асессорами и редакторами для роста качества разметки и достижения нужной производительности. С учётом текущих реалий тут также важно выстраивать пайплайны с LLM:

• Подготовка хинтов (чтобы помогать исполнителям улучшать качество разметки).
• Оценка качества комментариев.
• Раздебаг проблем и обучение людей (найти проблему и срез людей, у которых она наблюдается).
• Система оплаты и мотивации.
• Аналитические: строим рейтинг исполнителей (развиваем подход, например модель Брэдли — Терри или микротюнинг текущего алгоритма), придумываем, как оценивать сложность заданий, а позже — как подбирать под задание группу исполнителей.

Мы ждём, что вы

• Понимаете, почему важно всегда смотреть в данные
• Уверенно пишете на Python и знаете алгоритмы
• Знаете математическую статистику и проверяли гипотезы с её помощью

Будет плюсом, если вы

• Интересуетесь продуктом, стремитесь понять, каким он должен быть и почему
• Умеете общаться, ясно излагать мысли, понимать и учитывать мнение коллег, убеждать
• Работали с табличными данными на SQL
• Име ли дело с крауд-проектами, например делали разметку в Толоке
• Знаете основы машинного обучения

Бенефиты работы в Яндексе

Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят:

Базовые услуги

Плановая помощь и неотложная за рубежом, страхование от несчастных случаев для любителей активного отдыха и лечение критических заболеваний.

Ментальное здоровье

Врачи в клиниках по ДМС, онлайн-консультации с психологами. А также психотерапия в офисах, где есть кабинет психотерапевта.

Ежегодные чекапы

Мы за превентивную заботу о здоровье, поэтому по ДМС можно проходить чекапы и регулярно вакцинироваться.

Больничный

30 дней в году оплачиваются — вы получите полную зарплату, как будто не болели.

Стоматология

Плановые процедуры, профессиональная чистка и экстренная помощь за рубежом.

Коррекция зрения

После года работы ДМС покрывает коррекцию зрения и хирургическое лечение косоглазия.

Терапевты в офисах

Если почувствовали себя неважно, можно обратиться в кабинет врача-терапевта, такие есть во всех крупных офисах Яндекса.

Ведение беременности и роды

Оплачиваем ведение беременности и роды для сотрудниц и жён сотрудников, которые с нами более двух лет.

Страховка для родственников по системе 80/20: мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%. В страховку входит всё то же самое, что и у вас.

Все интересные вам вакансии в одном профиле

Войти и откликнуться