ML-разработчик в команду Alice AI VLM Agents

Привет, я Данил, руковожу командой Alice AI VLM Agents. Мы превращаем мультимодальную модель в агента: она не просто отвечает по изображению, а действует — планирует шаги, вызывает инструменты, работает с внешними системами и решает визуальные задачи как в продовых, так и в непродовых средах. Там, где раньше нужен был человек, теперь должна справляться модель, предсказуемо и безошибочно пользуясь инструментами.

Это одна из самых интересных зон в современном ML: здесь нужно одновременно понимать, как устроены сильные VLM, как заставить модель планировать действия и безошибочно пользоваться инструментами, как выстроить агентские среды для обучения и оценки — и как превратить всё это в функции, которыми в продуктах Яндекса будут пользоваться миллионы людей.

У нас много настоящего ресёрча и быстрый цикл внедрения: хорошие идеи не остаются в презентациях, а доходят до реальной модели и пользовательских сценариев.

Какие задачи вас ждут

• Учить модель вызывать инструменты (tool calling) — Мы хотим, чтобы модель умела не только отвечать по изображению, но и действовать: вызывать OCR, парсеры, браузер, поиск и внутренние API. Вы будете развивать сам навык надёжного tool use — чтобы модель выбирала подходящий под задачу инструмент, корректно передавала аргументы и разбирала результат, в том числе когда инструмент вернул ошибку или мусор.
• Развивать агентское планирование и многошаговость — Одного вызова инструмента мало: агент должен декомпозировать задачу, планировать последовательность действий, удерживать контекст между шагами, восстанавливаться после ошибок и доводить сложные визуальные сценарии до результата. Вы будете учить VLM вести себя как агент, а не как одношаговый «вопрос-ответ», а также повышать устойчивость этого поведения на длинных траекториях.
• Строить продовые и непродовые агентские среды — Вам предстоит проектировать окружения, в которых агент учится, оценивается и работает: песочницы, симуляторы и бенчмарки для обучения и офлайн-оценки — и реальные продуктовые сценарии Яндекса. Задача — сделать так, чтобы агент вёл себя надёжно и предсказуемо и в непродовых средах, и в продакшене под нагрузкой.

Мы ждём, что вы

• Хорошо знаете ML и уверенно ориентируетесь в современных LLM или VLM
• Имеете практический опыт в CV, NLP или мультимодальном обучении
• Знакомы с Reinforcement Learning и понимаете, где RL-подходы применимы
• Понимаете, как строятся агенты и tool calling поверх LLM или VLM, или хотите этим заниматься
• Умеете формулировать гипотезы, ставить аккуратные эксперименты и делать выводы по результатам

Будет плюсом, если вы

• Работали с агентами, автономными пайплайнами или RL в интерактивных средах
• Обучали большие модели или large-scale ML-системы
• Знакомы с tool calling, агентными пайплайнами или обучением моделей работе с внешними инструментами — в том числе в продовых и непродовых средах
• Понимаете ограничения современных VLM и следите за трендами в области агентов и tool-augmented-моделей

Бенефиты работы в Яндексе

Здоровье

Рост и развитие

Спорт

И ещё

Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят:

Базовые услуги

Плановая помощь и неотложная за рубежом, страхование от несчастных случаев для любителей активного отдыха и лечение критических заболеваний.

Ментальное здоровье

Врачи в клиниках по ДМС, онлайн-консультации с психологами. А также психотерапия в офисах, где есть кабинет психотерапевта.

Ежегодные чекапы

Мы за превентивную заботу о здоровье, поэтому по ДМС можно проходить чекапы и регулярно вакцинироваться.

Больничный

30 дней в году оплачиваются — вы получите полную зарплату, как будто не болели.

Стоматология

Плановые процедуры, профессиональная чистка и экстренная помощь за рубежом.

Коррекция зрения

После года работы ДМС покрывает коррекцию зрения и хирургическое лечение косоглазия.

Терапевты в офисах

Если почувствовали себя неважно, можно обратиться в кабинет врача-терапевта, такие есть во всех крупных офисах Яндекса.

Ведение беременности и роды

Оплачиваем ведение беременности и роды для сотрудниц и жён сотрудников, которые с нами более двух лет.

Страховка для родственников по системе 80/20: мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%. В страховку входит всё то же самое, что и у вас.

Больше о бенефитах