Lead AI Quality & Benchmarking (Kandinsky)

Мы – команда Kandinsky, создающая и развивающая core-технологии генеративных моделей изображений и видео. Наши модели умеют создавать фотореалистичные сцены, стилизованные иллюстрации и видеоролики по текстовому описанию, редактировать визуальный контент и работать в мультимодальных сценариях.

Сейчас мы усиливаем направление оценки качества и бенчмаркинга моделей. Ищем лида команды AI Quality & Benchmarking, который возьмёт оунершип качества генеративных моделей и будет влиять на решения о релизах, развитии и сравнении с лучшими мировыми аналогами.

Обязанности

• полный оунершип трека оценки качества генеративных моделей (Image / Video / Multimodal)
• проектирование, развитие и поддержка бенчмарков качества: SBS, point-wise, pairwise, human-in-the-loop
• формирование и развитие системы метрик качества: следование промту, знания, визуальное качество, стабильность, safety
• поддержка и развитие внутренних лидербордов моделей (качество, latency, стоимость инференса)
• анализ регрессий качества между версиями моделей, поиск корневых причин деградаций
• сбор, систематизация и приоритизация обратной связи по качеству от пользователей и команд ML / Product
• формирование и защита go / no-go решений по релизу моделей на основе данных и метрик
• регулярный анализ и подготовка отчётов по моделям-конкурентам (open-source и proprietary).

Требования

• высшее образование в области математики, прикладной математики, computer science, data science, ML или смежных областях
• 4+ лет опыта в Data Science / ML / Applied Research, из них существенный фокус на оценку качества моделей
• глубокое понимание принципов работы генеративных моделей (V-LLM / diffusion / multimodal) и их ограничений
• практический опыт проектирования и поддержки систем оценки качества моделей (offline и online evaluation)
• умение самостоятельно формулировать метрики качества и принимать архитектурные решения по evaluation-пайплайнам
• сильный аналитический бэкграунд: работа со статистикой, интерпретация метрик, оценка значимости, анализ trade-off’ов (качество ↔ стабильность ↔ стоимость)
• уверенное владение Python (Pandas, NumPy, SciPy), опыт работы с SQL
• опыт работы с human evaluation, субъективными метриками и процессами разметки данных
• умение чётко формулировать выводы и доносить решения до ML, Product и руководства.

Условия

• крупнейшее DS&AI community — более 600 DS-специалистов банка
• дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира
• возможность быть соавтором НИРов и статей для международных конференций
• возможность выбрать удобный формат работы: гибрид или офис
• ежегодный пересмотр зарплаты, годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• ипотека выгоднее до 7% для каждого сотрудника
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера.