Data Scientist (Model Validation)

Наша команда занимается независимой оценкой, валидацией и контролем качества AI-моделей и GenAI-решений Банка — от классических ML и NLP до LLM, диффузионных моделей, мультимодальных систем и моделей реального мира (робототехника, беспилотный транспорт и смежные направления).

Мы не просто «проверяем метрики», а:

глубоко разбираемся в подходах команд-разработчиков и бизнес процессах в которых участвуют модели, челленджим архитектурные и методологические решения,предлагаем улучшения,разрабатываем собственные альтернативные модели, проверки и бенчмарки.

Отдельный фокус — R&D-деятельность:

• создание новых методологий оценки качества,
• участие в разработке и развитии переводных российских бенчмарков (MERA, POLLUX и др.),
• адаптация передовых мировых бенчмарков под специфику банковских и индустриальных кейсов.

Сейчас у нас открыта вакансия на роль LLM / GenAI Validation DS — фокус на LLM, мультимодальных и генеративных моделях, а также автоматизации их проверки.

• глубоко погружаться в валидацию как классических так и LLM, диффузионных и мультимодальных моделей
• проектировать пайплайны автоматической проверки качества, устойчивости и безопасности GenAI
• разрабатывать агентов и инструменты для автоматизации валидации (LLM-as-a-judge, multi-agent setups и т.д.)
• участвовать в создании и адаптации бенчмарков для LLM и GenAI и кастомизировать их под бизнес-кейсы Банка
• проводить полный цикл R&D: от формулировки исследовательского вопроса, до прототипа, экспериментов и внедрения в рабочий процесс
• держать руку на пульсе и следить за SOTA в LLM / GenAI и переносить лучшие практики в индустриальные решения.

Базовый стек:

• python, pandas
• pytorch

Будет плюсом:

• Classic ML / DL: Spark, pytorch-lightning, pytorch-distributed
• LLM / GenAI: langchain, smolagents, huggingface, faiss, vllm, lm-eval, rag-пайплайны
• оценка и бенчмарки: опыт работы с evaluation-фреймворками

• высшее образование в области компьютерных, технических или физико-математических наук
• от 1 года опыта в ML / DS (готовы рассматривать сильных кандидатов с меньшим опытом при наличии pet-проектов, R&D или соревнований).
• хорошее оонимание:теории ML (как классического, так и по работе  генеративного ИИ),математической статистики и теории вероятностей.
• опыт работы с основными библиотеками анализа данных
• базовые знания bash и git.

Будет плюсом:

• опыт R&D-работы или участия в создании бенчмарков
• опыт валидации или тестирования моделей, а не только их обучения
• pet-проекты или исследования в области LLM, мультимодальных или real-world моделей
• умение декомпозировать сложные задачи
• проактивная позиция и интерес к исследовательской деятельности и генеративному ИИ

• возможность внести вклад в развитие самой перспективной сферы — искусственный интеллект
• формат работы: офис (м.Кутузовская)
• ежегодный пересмотр зарплаты и годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера