Middle AI Infrastructure Engineer

21 октября 2026 • г Москва • ПАО Сбербанк • Информационные технологии:DevOps-инженер

Мы ищем опытного Middle AI Infrastructure Engineer, который возьмёт на себя масштабирование и поддержку высокопроизводительной LLM-инфраструктуры.

Фундамент инфраструктуры уже положен. Вашей задачей будет его развитие и улучшение под растущие нагрузки

Обязанности

• Обеспечить надёжность LLM-сервинга в проде: стабильная работа инференса (vLLM/SGLang) под highload нагрузками, обновления без даунтайма, планирование мощностей под растущую нагрузку
• Развитие шлюзового слоя: роутинг запросов между моделями на разных серверах, rate limits, балансировка, наблюдаемость.
• Оптимизация производительности: Настройка работы инференс-сервисов (vLLM, SGLang), оптимизация распределения ресурсов между GPU нодами. Оптимизация параметров инференса моделей в зависимости от типа ожидаемых нагрузок.
• Мониторинг и стабильность: Внедрение глубокого мониторинга метрик GPU (память, ядра, температура) и производительности моделей.
• Сопровождение: Оперативное решение инцидентов и обеспечение высокой доступности сервисов.

Требования

• Опыт работы в DevOps/SRE или системной инженерии от 3 лет.
• Практический опыт с LLM-сервингом: (любым из: vLLM, SGLang, TGI, Triton). Понимание конфигурирования движков под разные типы нагрузок и плюсы и минусы различных конфигураций (high throughput, low latency).
• Глубокие знания Linux, контейнеризации (Docker) и оркестрации (Kubernetes).
• Опыт работы с GPU-инфраструктурой (NVIDIA drivers, Docker с доступом до GPU, CUDA).
• Навыки программирования на Python или Go (для автоматизации задач).
• Опыт работы с инструментами мониторинга (Prometheus, Grafana).
• Понимание того, как работают нейросети на системном уровне.

Будет преимуществом:

• Практический опыт запуска модели на нескольких GPU в рамках одного/нескольких серверов (Data/Tensor параллелизм)
• Опыт работы с шлюзами LLM сервинга вроде LiteLLM
• Английский язык для чтения документации

Условия

• комфортный современный офис - м. Кутузовская
• ежегодный пересмотр зарплаты, годовой бонус
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера
• корпоративная пенсионная программа.