Мы ищем инженера, который будет отвечать за стабильную работу ML-инфраструктуры и сервисов инференса в production.
В этой роли предстоит настраивать и поддерживать Triton Inference Server, работать с Kubernetes и CI/CD, следить за стабильностью ML-сервисов и пайплайнов, разбирать инциденты и постепенно улучшать инфраструктуру.
В нашей команде тебе предстоит:
- Настраивать и поддерживать NVIDIA Triton Inference Server для production-нагрузки;
- Загружать и обновлять модели в Triton, настраивать model repository, версии моделей и параметры инференса;
- Поддерживать и развивать CI/CD для моделей и ML-сервисов;
- Настраивать Kubernetes-ресурсы: CPU, GPU, memory, requests/limits, autoscaling и deployment'ы;
- Поддерживать DAG'и и пайплайны, разбирать и устранять возникающие проблемы;
- Диагностировать инциденты: миграция базы, проблемы с сервисами, нехватка памяти/CPU/GPU, падения pod'ов и другие production-проблемы;
- Следить за состоянием сервисов по дашбордам, метрикам и логам;
- Анализировать логи и метрики: определять, что именно сломалось, когда началась проблема и где находится её первопричина;
- Участвовать в устранении технического долга и развитии инфраструктуры;
- Переводить существующие процессы на более современные инструменты, в том числе участвовать в миграции на MLflow;
- Автоматизировать повторяющиеся операции и снижать количество ручных действий при эксплуатации ML-сервисов.
Что мы ожидаем от кандидата: - Уверенное знание Linux и понимание принципов эксплуатации production-сервисов;
- Практический опыт работы с Kubernetes: deployments, pods, requests/limits, probes, ConfigMap/Secret, volumes, ресурсы и troubleshooting;
- Опыт настройки и эксплуатации CI/CD;
- Понимание принципов работы ML-инференса и жизненного цикла ML-модели в production;
- Опыт работы с Triton Inference Server или близкими системами model serving;
- Умение читать и анализировать логи и метрики, находить причину проблем, а не только перезапускать сервис;
- Базовое понимание мониторинга: Prometheus/Grafana или аналогичные инструменты;
- Опыт работы с Python и/или Bash для автоматизации;
- Умение самостоятельно разбираться в незнакомой инфраструктуре и доводить проблему до решения.
Будет плюсом:
- Опыт работы с GPU в Kubernetes: NVIDIA device plugin, GPU requests/limits, CUDA;
- Опыт оптимизации ML-инференса и понимание latency/throughput/batching;
- Знание MLflow и практический опыт работы с Model Registry;
- Опыт с Airflow или другими системами оркестрации DAG'ов;
- Опыт работы с Prometheus, Grafana, Loki/ELK и системами алертинга.
- Знание Helm, Terraform или Argo CD;
- Опыт эксплуатации ML-платформ или большого количества ML-сервисов в production.
Условия:
- Возможность работать удалённо или в гибридном формате;
- Гибкий график работы;
- Официальное оформление с "белой" ЗП, ежеквартальные и годовые премии по результатам работы;
- Удобный офис рядом с м. «Добрынинская» или удаленную работу;
- Широкий пакет ДМС (включая выезд за рубеж и стоматологию), страхование жизни и здоровья;
- Возможность учиться и развиваться за счёт компании: внешние тренинги и семинары по профессиональным тематикам, участие в крупнейших конференциях страны, программы развития цифровых и управленческих навыков (Цифровая академия, Школа Тимлидов), онлайн и офлайн мастер-классы, корпоративный университет «X5 Полка», школа наставников и многое другое;
- Программы мотивации для спикеров и авторов: внутренняя школа Speak Up School, Write Up, ачивки и баллы за выступления, подготовка спикеров к крупнейшим конференциям страны, сообщество авторов на Хабре, возможность шерить опыт с комьюнити внутренних и внешних экспертов;
- Обмен опытом через cообщества: 12 технических комьюнити от java до devops;
- Яркая корпоративная жизнь с большим количеством мероприятий, конкурсов и возможностей для творческой реализации: регулярные внутренние митапы, демо-дни, открытые микрофоны, день IT-специалиста, программы волонтерства, корпоративное предпринимательство X5 Idea Challenge;
- Забота о благополучии сотрудников: 7 спортивных сообществ (бег, футбол, волейбол, баскетбол, хоккей, лыжи, триатлон), ежегодная Неделя здоровья;
- Скидки в экосистеме бизнесов Х5 («Пятёрочка», «Перекрёсток», «Много лосося», «Перекресток Впрок»);
- Программа привилегий Prime-zone (скидки на товары и услуги и специальные предложения от компаний-партнёров);
- Материальная помощь сотрудникам, попавшим в сложную жизненную ситуацию.
