Ищем сильного инженера-разработчика для сопровождения и развития высоконагруженной LLM-платформы обработки больших объёмов данных (текст, документы, изображения, аудио).
Под капотом:
- Микросервисы: движок на .NET, оркестрация на Python, веб-панель на React
- Хранилище: PostgreSQL (десятки миллионов записей)
- Кеш: Redis
- Self-hosted LLM: vLLM на GPU за nginx-балансировщиком
- Инфраструктура: Docker, мониторинг Prometheus / Grafana
Планы развития: RAG-контур на векторном поиске и доменная адаптация моделей.
Важно: уметь видеть систему целиком — от SQL-плана запроса до раскладки моделей по видеокартам.
Обязанности:
- Поддержка продакшена: деплой, обновления, разбор инцидентов, откаты
- Доработка логики обработки: классификация, нормализация, извлечение сущностей, контроль качества вывода LLM
- Оптимизация латентности и пропускной способности: тюнинг батчей, параллелизма и конкурентности LLM, оптимизация SQL и кеша
- Эксплуатация LLM-стека: раскладка и обновление моделей на GPU, мониторинг видеокарт, диагностика
- Развитие RAG-контура: векторный поиск, индексация, релевантность; доменная адаптация моделей через LoRA
- Работа с данными: дампы и восстановление PostgreSQL, прогрев кеша, миграции между серверами
- Наблюдаемость: дашборды, метрики, разбор «хвостов» p95/p99
Требования:
- Уверенный бэкенд на C# / .NET И на Python (допустимо: сильный в одном + рабочий во втором с быстрым доростом)
- PostgreSQL на хорошем уровне: сложные запросы, индексы, EXPLAIN, партиционирование, дампы/restore
- Docker / docker-compose и уверенный Linux (ssh, systemd, диагностика по логам)
- Практический опыт с LLM: промптинг, параметры генерации, self-hosted инференс, понимание токенизации и ограничений контекста
- Инженерная самостоятельность: умение читать код и метрики распределённой системы
- Понимание работы с тестовой средой и продакшеном
-
Будет большим плюсом
- RAG и векторные БД (Qdrant): эмбеддинги, индексация, гибридный поиск, оценка релевантности
- LoRA / PEFT — лёгкая доменная адаптация моделей
- Эксплуатация vLLM / TGI / llama.cpp, понимание GPU (nvidia-smi, VRAM, tensor-parallel, квантизация), Hugging Face
- React / Vite для правок админ-панели
- Базовый NLP: токенизация, детекция языка, нормализация, извлечение сущностей
- Диагностика железа (в т.ч. виртуализация / KVM)
Условия:
- Гибкое начало и окончание дня
- Оформление: ТК / ИП
- Аккредитованная IT-компания
- Реальное владение сложной системой и свобода в инженерных решениях
- Отсутствие бюрократии
