Описание
Customer AI Products — направление пользовательских AI‑продуктов в экосистеме Т‑Банка с аудиторией в десятки миллионов клиентов.
Команда развивает три класса решений:
- AI‑ассистенты — универсальный ассистент как точку входа в AI и специализированные ассистенты для ключевых сценариев;
- Поиск по экосистеме — единый поиск по продуктам и сервисам с пониманием естественного языка;
- AI‑интерфейсы — умная камера, интеллектуальные блоки, саммаризации и голосовые сценарии.
Технологическая база — LLM и агентные системы, мультимодальные модели, RAG и поиск, рекомендательные механики.
Аналитика встроена в продуктовые скводы и работает как самостоятельная функция с мандатом на формирование стандартов: единая методология экспериментов, оценка качества AI (golden sets, LLM‑as‑a‑judge, A/B‑тесты агентных пайплайнов).
Обязанности
- Руководить аналитической функцией направления: управлять лидами аналитики продуктовых групп, развивать команду и стандарты экспертизы
- Определять и поддерживать стандарты методологии A/B‑экспериментов: дизайн, расчёт мощности, требования к валидности и интерпретации результатов
- Формировать методологию оценки качества AI‑продуктов: определять сценарные метрики, проектировать golden sets, калибровать LLM‑as‑a‑judge относительно человеческой разметки и задавать пороги регрессий
- Обеспечивать связь офлайн‑оценок качества с онлайн‑продуктовыми метриками
- Формировать процессы найма и онбординга аналитиков направления
- Определять приоритеты аналитического покрытия продуктовых команд
- Взаимодействовать с платформенной командой A/B и eval: формировать требования и участвовать в развитии инструментов
Требования
- У вас есть опыт построения или трансформации аналитической функции, включая запуск с нуля или перестройку существующей модели
- У вас есть управленческий опыт: вы нанимали и развивали аналитиков или лидов аналитики
- У вас есть опыт внедрения стандартов и методологии в командах без прямого управленческого подчинения
- Знаете методологию экспериментов: дизайн, расчёт мощности, sequential testing, типовые ошибки (peeking, SRM, множественные сравнения), методы причинного вывода и квази‑экспериментальные подходы
- Знаете подходы к оценке качества ML/LLM‑продуктов: сценарные метрики, golden sets, LLM‑as‑a‑judge и его ограничения
- Знаете SQL и используете Python для анализа данных и прототипирования
- Умеете связывать продуктовые метрики с бизнес‑результатом и строить дерево метрик
Мы предлагаем
- Гибридный формат работы
- Возможность работы в аккредитованной ИТ-компании
- DMS со стоматологией, включая чекапы, компенсацию покупки лекарств и льготные условия страхования для близких. Еще — страховка от несчастных случаев и болезней
- Рост по карьерному треку: проходите курсы по софт- и хард-скиллам, развивайтесь с поддержкой ментора и повышайте уровень с матрицей компетенций и регулярным ревью
- Сильное комьюнити. Вы будете работать с экспертами в своей области, сможете делиться знаниями и выступать на конференциях, посещать митапы и писать статьи
- Онлайн-консультации с психологами, юристами, специалистами по финансам и здоровому образу жизни
- Компенсацию затрат на спортивные абонементы, приложение Т-Спорта для онлайн-занятий и командные тренировки с коллегами
- Три дополнительных дня к отпуску — можно использовать для отдыха или получить компенсацию
- Специальные тарифы на продукты Т-Банка и широкую программу скидок от партнеров
- Достойную зарплату — обсудим ее на собеседовании
