Анализ логов/метрик/трейсов; тестирование на регрессии качества/производительности.
Проведение исследований и создание прототипов / MVP AI решений на базе LLM, с последующим доведением до продакшена.
Интеграция и анализ новых LLM для существующих микросервисов.
Исследование новых технологий и подходов для улучшения продукта.
Требования:
Сильный Python 3-5 лет. Разработка сервисов и API (FastAPI или аналоги), очереди/воркеры/фоновые задачи, интеграции во внутренние системы.
Опыт разработки и поддержки production-сервисов на основе NLP/LLM.
Опыт вывода LLM в прод со скалированием и балансировкой нагрузки.
Практический опыт построения RAG / Knowledge DB на базе корпоративных данных: эмбеддинги, retrieval (векторный/гибридный), reranking, контроль качества.
Знания API / LLM Gateway на базе LiteLLM или аналогов: gateway/router, управление ключами, маршрутизация, лимиты.
Инструменты работы с LLM: vLLM, SGLang, HuggingFace, LangChain/LlamaIndex (или аналоги);
Опыт построения agentic/non-agentic пайплайнов с tool/function calling (контракты инструментов, устойчивость вызовов, стабильное качество).
Будет плюсом:
Опыт построения AI агентов, мультиагентных систем, оркестрации инструментов.
Понимание основных метрик качества LLM решений, опыт проведения A/B-тестов и офлайн-оценки (eval-сеты, human eval).
