Технологии/инструменты
- data science
- go
- machine learning
- numpy
- pandas
- python
- scipy
- sql
Мы — команда Kandinsky, создающая и развивающая core-технологии генеративных моделей изображений и видео. Наши модели умеют создавать фотореалистичные сцены, стилизованные иллюстрации и видеоролики по текстовому описанию, редактировать визуальный контент и работать в мультимодальных сценариях.
Сейчас мы усиливаем направление оценки качества и бенчмаркинга моделей. Ищем лида команды AI Quality & Benchmarking, который возьмёт оунершип качества генеративных моделей и будет влиять на решения о релизах, развитии и сравнении с лучшими мировыми аналогами.
Обязанности
- полный оунершип трека оценки качества генеративных моделей (Image / Video / Multimodal).
- проектирование, развитие и поддержка бенчмарков качества: SBS, point-wise, pairwise, human-in-the-loop.
- формирование и развитие системы метрик качества: следование промпту, знания, визуальное качество, стабильность, safety.
- поддержка и развитие внутренних лидербордов моделей (качество, latency, стоимость инференса).
- анализ регрессий качества между версиями моделей, поиск корневых причин деградаций.
- сбор, систематизация и приоритизация обратной связи по качеству от пользователей и команд ML / Product.
- формирование и защита go / no-go решений по релизу моделей на основе данных и метрик.
- регулярный анализ и подготовка отчётов по моделям-конкурентам (open-source и proprietary).
Требования
- высшее образование в области математики, прикладной математики, computer science, data science, ML или смежных областях.
- 4+ лет опыта в Data Science / ML / Applied Research, из них существенный фокус на оценке качества моделей.
- глубокое понимание принципов работы генеративных моделей (V-LLM / diffusion / multimodal) и их ограничений.
- практический опыт проектирования и поддержки систем оценки качества моделей (offline и online evaluation).
- умение самостоятельно формулировать метрики качества и принимать архитектурные решения по evaluation-пайплайнам.
- сильный аналитический бэкграунд: работа со статистикой, интерпретация метрик, оценка значимости, анализ trade-off’ов (качество ↔ стабильность ↔ стоимость).
- уверенное владение Python (Pandas, NumPy, SciPy), опыт работы с SQL.
- опыт работы с human evaluation, субъективными метриками и процессами разметки данных.
- умение чётко формулировать выводы и доносить решения до ML, Product и руководства.
Условия
- крупнейшее DS&AI community — более 600 DS-специалистов банка.
- дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира.
- возможность быть соавтором НИРов и статей для международных конференций.
- возможность выбрать удобный формат работы: гибрид или офис.
- ежегодный пересмотр зарплаты, годовая премия.
- корпоративный спортзал и зоны отдыха.
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития.
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
- ипотека выгоднее — до 7% для каждого сотрудника.
- бесплатная подписка СберПрайм+, скидки на продукты компаний-партнёров.
- вознаграждение за рекомендацию друзей в команду Сбера.
