О ПРОЕКТЕ:
Мы создаем систему локальных LLM-агентов на базе открытых моделей. Цель — построить экосистему умных локальных сервисов для анализа данных, поиска информации, а также интеграции в бизнес-процессы компании. Мы предоставляем возможность проводить собственные исследования и тестировать новые гипотезы с полным отсутствием ограничений по стеку.
Основные задачи:
- Создание и дообучение моделей для работы с изображениями, текстом и аудио
- Точечное дообучение LLM под специализированные задачи
- Разработка и развёртывание API для доступа к обученным агентам
- Оптимизация инференса новых и уже работающих связок
- Интеграция моделей в существующие микросервисы
Технические требования:
- Уверенное знание Python (asyncio, typing, dataclasses);
- Опыт работы с PyTorch/Transformers/vLLM
- Опыт тонкой настройки и дообучения LLM
- Понимание принципов RAG, LoRA, QLoRA
- Навыки в обработке изображений и OCR/CV задачах (Tesseract, OpenCV, Yolo);
- Умение создавать REST API (FastAPI, Flask)
- Понимание основ работы контейнеров и взаимодействия микросервисов
- Опыт оптимизации на GPU (CUDA, TensorRT, bitsandbytes) и развертывания на multi-GPU серверах
- Опыт интеграции моделей в продакшн
Преимущество:
- Опыт работы с SQL и NoSQL
- Опыт работы с Redis
- Опыт построения архитектуры приложений, как общей, так и отдельных сервисов
- Опыт работы с брокерами сообщений (RabbitMQ, Kafka)
- Знание других языков программирования
Условия:
- График: 5/2
- Работа в небольшой команде, быстрые решения без бюрократии
- Уровень заработной платы обговаривается на тех.собесе
