Основная роль
Разработка и внедрение интеллектуальных систем обработки и анализа текстовой информации.
Подробные функции
Построение системы автоматической классификации текстов:
Тематическая классификация
Определение тональности
Выделение ключевых инфоповодов
Работа с языковыми моделями:
Настройка и интеграция LLM
Оптимизация промптов
Контроль качества генерации
Снижение ошибок и «галлюцинаций»
Разработка RAG-систем:
Индексация региональных источников
Создание базы знаний
Контекстный поиск
Создание моделей:
Выявление трендов
Кластеризация информационных потоков
Выявление аномалий
Подготовка датасетов:
Разметка данных
Подготовка обучающих выборок
Оценка метрик качества
Оптимизация производительности:
Ускорение инференса
Настройка локальных моделей
Работа с GPU (при наличии)
Необходимые навыки
Обязательные:
Python
Работа с NLP-библиотеками (transformers, sentence-transformers)
Опыт работы с LLM
Понимание embeddings
sklearn
pandas
Оценка качества моделей (accuracy, precision, recall, F1)
Желательные:
Опыт работы с локальными моделями
Опыт дообучения моделей
Опыт построения RAG
Работа с векторными базами данных