Мы создаём внутреннюю платформу AI-агентов для автоматизации ключевых операционных процессов: от контроля качества до управления цепочкой поставок.
Прямо сейчас мы решаем одну из самых нетривиальных инженерных задач в отрасли: глубокую интеграцию локальных больших языковых моделей (on-premise LLM) с корпоративной системой управления (ERP) в регулируемой среде с требованиями FDA, EMA и EU AI Act. Здесь нет типовых решений - только реальные производственные данные и прямое влияние на бизнес.
Вам предстоит:
Интеграция больших языковых моделей (LLM) с ERP
- Реализовывать вызовы больших языковых моделей (LLM) из среды разработки ERP.
Логирование и ALCOA+
- Реализация неизменяемого логирования всех LLM-запросов: промпт, модель, ответ, метаданные использования токенов;
- Хранение с криптографическим хешированием, шифрованием и резервными копиями.
Кэширование и производительность
- Настройка пула соединений между ERP и LLM-сервером;
- Реализация кэширования типовых запросов и пакетной обработки (batch processing) для снижения нагрузки на GPU.
Инфраструктура инференса
- Развёртывание и настройка LLM-серверов, балансировщика нагрузки, автоматического переключения при отказе;
- Настройка мониторинга инфраструктуры: нагрузка, температура, задержка, частота ошибок.
Оркестрация агентов
- Реализация графа агентов: состояния, переходы, условия, асинхронные вызовы через очередь сообщений;
- Покрытие тестами всех сценариев: успех, таймаут, недоступность LLM, невалидный ответ.
Нам важно:
- Опыт разработки и интеграции LLM;
- Опыт работы с ERP-системами;
- Опыт построения отказоустойчивых систем;
- Знание принципов неизменяемого логирования и стандартов ALCOA+;
- Опыт работы с очередями сообщений;
- Навыки написания модульных и интеграционных тестов.
Будет плюсом:
- Опыт развёртывания ML-инфраструктуры;
- Знание инструментов мониторинга.
