Наша команда занимается независимой оценкой, валидацией и контролем качества AI-моделей и GenAI-решений Банка — от классических ML и NLP до LLM, диффузионных моделей, мультимодальных систем и моделей реального мира (робототехника, беспилотный транспорт и смежные направления).
Мы не просто «проверяем метрики», а:
- глубоко разбираемся в подходах команд-разработчиков и бизнес процессах в которых участвуют модели,
- челленджим архитектурные и методологические решения,
- предлагаем улучшения,
- разрабатываем собственные альтернативные модели, проверки и бенчмарки.
Отдельный фокус — R&D-деятельность:
- создание новых методологий оценки качества,
- участие в разработке и развитии переводных российских бенчмарков (MERA, POLLUX и др.),
- адаптация передовых мировых бенчмарков под специфику банковских и индустриальных кейсов.
Сейчас у нас открыта вакансия на роль LLM / GenAI Validation DS — фокус на LLM, мультимодальных и генеративных моделях, а также автоматизации их проверки.
Обязанности
- глубоко погружаться в валидацию как классических так и LLM, диффузионных и мультимодальных моделей
- проектировать пайплайны автоматической проверки качества, устойчивости и безопасности GenAI
- разрабатывать агентов и инструменты для автоматизации валидации (LLM-as-a-judge, multi-agent setups и т.д.)
- участвовать в создании и адаптации бенчмарков для LLM и GenAI и кастомизировать их под бизнес-кейсы Банка
- проводить полный цикл R&D:
от формулировки исследовательского вопроса, до прототипа, экспериментов и внедрения в рабочий процесс
- держать руку на пульсе и следить за SOTA в LLM / GenAI и переносить лучшие практики в индустриальные решения.
Технологический стек
Базовый стек:
Будет плюсом:
- Classic ML / DL: Spark, pytorch-lightning, pytorch-distributed
- LLM / GenAI: langchain, smolagents, huggingface, faiss, vllm, lm-eval, rag-пайплайны
- Оценка и бенчмарки: опыт работы с evaluation-фреймворками
Требования
- высшее образование в области компьютерных, технических или физико-математических наук.
- от 1 года опыта в ML / DS (готовы рассматривать сильных кандидатов с меньшим опытом при наличии pet-проектов, R&D или соревнований)
- хорошее понимание:
теории ML (как классического, так и по работе генеративного ИИ)
математической статистики и теории вероятностей.
- опыт работы с основными библиотеками анализа данных
- базовые знания bash и git.
Будет плюсом:
- опыт R&D-работы или участия в создании бенчмарков
- опыт валидации или тестирования моделей, а не только их обучения.
- рet-проекты или исследования в области LLM, мультимодальных или real-world моделей
- умение декомпозировать сложные задачи
- проактивная позиция и интерес к исследовательской деятельности и генеративному ИИ.
Условия
- возможность внести вклад в развитие самой перспективной сферы — искусственный интеллект
- участие в уникальных масштабных проектах по развитию AI
- комфортный современный офис рядом с м. Кутузовская
- формат работы: гибрид
- ежегодный пересмотр зарплаты и годовая премия
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
- вознаграждение за рекомендацию друзей в команду Сбера.
.jpg&w=1920&q=75){kind=small}
