Наша команда (70+ человек) создает технологический фундамент для внедрения GenAI в экосистему банка.
Мы разрабатываем RAG-платформу, фреймворк исполнения агентов и системы обработки неструктурированного контента (документы, коммуникации). Наши сервисы оборачивают базовые LLM в готовые интерфейсы, позволяя бизнесу быстро создавать собственных агентов и GenAI-приложения.
Мы обеспечиваем полный цикл разработки (E2E)
Мы в поиске играющего тренера - руководителя направления анализа и подготовки данных для AI. Команда 5 человек
Обязанности
- создавать и оптимизировать подходы к оценке качества моделей и AI-пайплайнов (RAG, LLM, OCR)
- построение online/offline метрик качества, написание методологий оценки для мониторинга качества и регрессионного тестирования
- проводить эксперименты, проверять гипотезы по улучшению текущих AI-решений
- выявлять уязвимости в качестве в AI-пайплайнах и оперативно предлагать решения для устранения проблем в production (проводить A/B-тестирования)
- отвечать за качество данных и методологию их подготовки для AI/ML-проектов
- поддержка и оптимизация полного цикла работы с данными: сбор, хранение датасетов, разметка, авто-разметка (LLM-as-a-judge), валидация
- автоматизация data-циклов: сбор данных, разметка, подсчет метрик, оценка качества
- совместно с ML-инженерами определять требования к моделям и к данным (состав, объем и качество датасетов)
- руководить командой Data-аналитиков, Data-менеджеров, разметчиков
- говорить на одном языке с «бизнесом» и ML-инженерами: сбор и анализ бизнес-требований, понимание применимости и ограничений AI.
Требования
- любить data-driven подход)
- кросс-функциональное уметь разговаривать с DS и разработчиками
- python, SQL, уверенный vibe-coding
- понимание процесса деплоя моделей
- понимание работы LLM и знание понятий типа RAG, fine tuning, skills/tools, Data Governance
- знание подходов по оценке качества LLM, RAG
- знание матстата
- jira, agile итд
- soft skills (уверенный problem-solving)
- системное мышление
Будет плюсом:
- опыт построения процессов по оценке качества GenAI
- опыт работы с данными для LLM и AI-агентов
- опыт управления разметчиками
- опыт создания пайплайнов data lifecycle
- знакомство с LabelStudio, Toloka
- опыт работы с качеством разметки (consistency, honeypots, golden dataset)
Условия
- комфортный современный офис - м. Кутузовская
- гибридный формат работы
- ежегодный пересмотр зарплаты, годовой бонус
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- подписка Прайм с возможностью совместного использования на трёх близких
- вознаграждение за рекомендацию друзей в команду Сбера
- корпоративная пенсионная программа.
