Senior MLOps/DevOps инженер (LLM)
Мы строим платформу для инференса и SFT open-source LLM. Используем продвинутые cutting-edge движки для инференса, много экспериментируем и боремся за каждую дополнительную единицу в token throughput. Сейчас мы находимся в поиске MLOps-инженера, который вместе с нами продолжит настраивать и улучшать инфраструктуру инференса LLM-моделей и осуществлять вывод решений в прод-контур.
Вам предстоит
- разрабатывать и оптимизировать инфраструктуру инференса LLM-моделей для минимальной задержки и высокой пропускной способности внутренних приложений и сервисов.
- обеспечивать масштабируемость и надежность LLM-serving инфраструктуры; выбирать и настраивать инструменты для инференса (sglang, vLLM, llama.cpp).
- разрабатывать механизмы разграничения доступов к API-сервисам моделей.
- строить систему observability и мониторинга LLM-инференса.
- собирать модели в сервисы и интерфейсы (FastAPI, Flask, Tornado, Streamlit, Chainlit и т.д.).
Мы ожидаем
- опыт в аналогичной роли от 5 лет.
- опыт с Linux (сеть, storage, роли/пользователи, менеджмент процессов).
- уверенное владение Kubernetes (используем Istio Service Mesh).
- опыт построения высокопроизводительных LLM-сервисов (sglang, vLLM).
- опыт настройки высоконагруженных прокси-серверов (nginx, Envoy, HAProxy): load balancing, rate limiting, SSL termination, health checks.
- владение языками: Bash, Python, Groovy (Jenkins scripted).
- продвинутые навыки в CI/CD и оркестрации моделей.
Мы предлагаем
- гибридный формат работы (2-3 дня в офисе).
- годовой бонус и ежегодный пересмотр.
- расширенный ДМС с первого дня + стоматологию и льготное страхование для семьи.
- корпоративный университет Сбера, внутреннюю образовательную платформу, участие в IT-конференциях.
- офис на Кутузовской с зонами отдыха и спортзалом.
- льготную ипотеку в Сбере, корпоративную пенсионную программу, подписку СберПрайм+, скидки от партнеров и сервисов группы компаний.
