Алиса — сложный высоконагруженный сервис на базе больших языковых моделей. С каждым годом Алиса становится умнее и помогает пользователям решать всё более сложные задачи. Сейчас мы всё чаще применяем для этого большие языковые модели (LLM).
Каждая модель хорошо справляется с какой-то одной задачей, но обучить одну универсальную модель, которая идеально решит все задачи, очень сложно. Поэтому мы учим модели работать друг с другом, превращая их в агентов. Каждый агент специализируется на чём-то своём: один ищет информацию в интернете, другой управляет браузером, третий работает с файлами или приложениями.
Алиса состоит из множества компонентов и работает на большом семействе платформ. Мы хотим создать новый единый гомогенный рантайм, который будет отвечать современным требованиям и сможет поддерживать как долгие агентские задачи, так и запросы, требующие мгновенного ответа.
Проектирование архитектуры Алисы
Вы будете проектировать архитектуру Алисы и разрабатывать новый рантайм, чтобы Алиса могла единообразно работать как с долгими задачами на десятки минут, так и с быстрыми запросами на сотни миллисекунд без лишнего оверхеда. Алиса должна оставаться надёжной, эффективной и масштабируемой, обрабатывая десятки тысяч RPS. Она работает с разнообразными видами входных данных: файлами, картинками, голосом, текстом. Рантайм позволит улучшать систему в целом и отдельные компоненты (модели, тулы, агенты), а траектории будут писаться в единых терминах. Архитектура должна быть прозрачной и понятной.
