Оценивать качество систем: настраивать retrieval-метрики (hit rate, MRR, NDCG), проводить оценку генерации (RAGAS, faithfulness, relevancy).
Контейнеризировать и деплоить решения на on-prem инфраструктуру.
Требования
Опыт работы от 3 лет.
Опыт работы с AI-инструментами: от года.
Опыт создания RAG-систем.
Понимание архитектуры LLM: принципы работы трансформеров, управление контекстным окном, ограничения по токенам, стратегии работы с длинным контекстом (chunking, map-reduce, refine), узкие места inference.
Знание NLP: токенизация, эмбеддинги, работа с текстом на разных языках.