Middle, команда кредитования бизнеса: data-driven продукт, A/B-тесты, воронки и влияние на P&L портфеля
Фишка: Т-Банк строит data-driven кредитный продукт для бизнеса: аналитика напрямую влияет на стратегию, P&L и решения о масштабировании. Сильный упор на эксперименты, когорты, финансовые метрики портфеля и работу на стыке продукта, рисков и разработки.
| Этап | Длительность | Что проверяют |
|---|---|---|
| HR-скрининг | 30–45 мин | Мотивация, опыт 1–3 года в продуктовой аналитике, формат работы (гибрид, офис у м. Белорусская), зарплатные ожидания, готовность к направлению (кредитные карты SME, корпоративное финансирование, сегменты/LTV, collection B2B) |
| Интервью с руководителем / командой | 60 мин | Разбор прошлых проектов: гипотезы, приоритизация бэклога тестов, влияние на бизнес-метрики, взаимодействие с продуктом, рисками и разработкой |
| Техническое интервью | 60–90 мин | SQL-задачи, метрики и воронки, когортный анализ, A/B-тесты, статистика, Python; возможны вопросы по ClickHouse и оптимизации запросов |
| Продуктовый кейс (опционально) | 45–60 мин | Оценка бизнес-потенциала инициативы, дизайн эксперимента, выбор метрик (приёмочные vs информационные), интерпретация результата и решение о масштабировании |
Обязательный минимум
Плюсом будет
Была ли необходимость оптимизировать запросы?
Опишите конкретный кейс: медленный запрос → EXPLAIN → индексы, партиционирование, переписывание JOIN/WHERE, денормализация или предагрегация. В Т-Банке часто большие объёмы — важен практический опыт.
В чём разница между ClickHouse и MySQL?
ClickHouse — колоночное хранилище для аналитики (OLAP): быстрые агрегации по большим объёмам, слабые UPDATE/транзакции. MySQL — OLTP: строковое хранение, ACID, точечные операции. Для продуктовой аналитики в банке CH — типичный выбор для дашбордов и ad-hoc.
Работал ли с ClickHouse?
Если да — приведите пример: какие таблицы, какие агрегации, какие функции (groupArray, argMax, toStartOfMonth). Если нет — покажите понимание колоночных СУБД и готовность быстро освоить.
Совет: На SQL-задачах проговаривайте логику вслух: что считаете, какие гранулярности, какие edge cases (NULL, дубли, неполные периоды).
Ловушка: Не путайте DISTINCT user_id с COUNT(*) — в B2B один клиент может иметь несколько договоров/продуктов.
Какие A/B-тесты проводил?
Структура ответа: гипотеза → метрика успеха → дизайн (сплит, длительность, MDE) → результат → решение (rollout/откат). Укажите guardrail-метрики.
Как будешь находить статистическую значимость конверсии между группами A и B?
Z-тест/χ² для пропорций: сравнить CR_A и CR_B, посчитать p-value при заданном α. Упомяните размер выборки, доверительный интервал, коррекцию на множественные сравнения.
Как будешь валидировать результат A/B теста?
Проверить: корректность сплита (SRM), отсутствие novelty/primacy effect, стабильность по сегментам, согласованность приёмочных и guardrail-метрик, достаточность sample size, повторяемость на holdout.
Как реализуется дизайн теста?
Определить единицу рандомизации (user/company), целевую и guardrail-метрики, MDE, длительность (учесть сезонность и недельный цикл), критерий остановки, план анализа до запуска.
Всегда ли вырастет конверсия, если она выросла в A/B тесте?
Нет: возможны ложноположительные результаты, underpowered тест, сегментный эффект, каннибализация, краткосрочный эффект. Нужна валидация и мониторинг после rollout.
Достаточно ли того, что оба распределения нормальные?
Для t-теста нужны ещё независимость наблюдений, одинаковая дисперсия (или Welch), достаточный размер выборки. Для ratio-метрик и конверсий — другие методы (бутстреп, delta-method).
Когда использовал Mann-Whitney вместо t-теста?
Когда распределение далеко от нормального, много выбросов, или метрика — ранговая/ordinal. Для конверсий — χ², для ratio — бутстреп.
В чём разница между параметрическими и непараметрическими критериями?
Параметрические (t, z, ANOVA) предполагают форму распределения. Непараметрические (Mann-Whitney, бутстреп) — меньше допущений, но нужен больший n или больше вычислений.
Будешь делать split по чатам или по пользователям?
По пользователям (или юрлицам в B2B), если эффект на уровне клиента. Split по сущностям ниже уровня гипотезы даёт зависимые наблюдения и искажает дисперсию.
Были ли стратегии принятия решения в последнем A/B тесте?
Опишите pre-defined критерии: primary metric + guardrails, порог значимости, бизнес-порог эффекта (MDE), план действий при разных исходах.
Фишка: В кредитном B2B A/B часто ограничены: малый трафик SME, длинный цикл сделки, конфликт метрик (одобрение vs риск). Покажите, как выбираете метрики с учётом рисков.
Ловушка: Не останавливайте тест «когда p < 0.05» без заранее зафиксированного размера выборки — это peeking problem.
В чём разница между ARPPU и GMV?
ARPPU — средняя выручка на платящего пользователя. GMV — общий объём транзакций/оборот без вычета скидок и комиссий. ARPPU про монетизацию, GMV про масштаб.
В чём разница между ratio-метрикой и не ratio-метрикой для средних значений?
Ratio: сумма числителей / сумма знаменателей (например, общий CR = conversions/total). Среднее средних — смещение. Пример: CTR по пользователям vs общий CTR.
Зависит ли числитель от знаменателя в ratio-метрике?
В классической ratio (CTR, CR) числитель — подмножество знаменателя. Если нет — это не ratio, а отдельные метрики; анализ и дисперсия другие.
Все ли, что берётся средним значением, является ratio-метрикой?
Нет. Средний чек = revenue/orders — ratio. Средний session duration — average per user, не ratio; для тестов нужен другой подход (бутстреп per-user).
В чём разница между приёмочной и информационной метрикой?
Приёмочная (primary) — по ней принимается решение о rollout. Информационная — контекст, не для решения (или guardrail — не должен ухудшиться).
Для каждой ли метрики характерна сезонность?
Нет. B2B-кредиты могут иметь квартальную/отраслевую сезонность, DAU — недельную. Учитывайте при выборе периода теста и baseline.
Что такое CR1?
Конверсия первого шага воронки (например, заявка → одобрение, или визит → регистрация). Уточняйте определение в контексте продукта.
По каким метрикам можно посмотреть, что нужен мессенджер в социальной сети?
Универсальный подход: engagement (DAU/MAU, retention), time spent, частота коммуникаций, NPS, конкурентный анализ. Адаптируйте к B2B: частота обращений в поддержку, time-to-resolution.
Совет: Для кредитования бизнеса полезно знать: approval rate, disbursement rate, utilization, NPL/PD по винтажам, LTV клиента, cost of risk.
Ловушка: Рост конверсии в заявку без контроля риска может ухудшить P&L — всегда упоминайте guardrail по качеству портфеля.
Какие задачи решал на Python?
ETL/ad-hoc анализ (pandas), визуализация (matplotlib/plotly), автоматизация отчётов, расчёт метрик A/B (scipy/statsmodels), работа с API. Конкретный пример с результатом.
В чём разница между web-аналитикой и мобильной аналитикой?
Разные SDK, сессии (pageview vs app session), атрибуция установки, deeplink, background/foreground. Разная гранулярность событий и проблемы трекинга.
Будет ли относиться метка к каналу установки приложения, если пользователь запустит сессию через 3 дня или через 40 дней после установки?
Зависит от attribution window (обычно 7–30 дней). После окна — organic или last-touch по правилам MMP. Проговорите политику атрибуции.
Совет: Упомяните опыт с Jupyter, Airflow/оркестрацией, git — плюс для data-driven команды.
В каком направлении аналитики работаешь?
Продуктовая / маркетинговая / финансовая. Для этой роли важен продуктовый фокус с пониманием P&L и рисков.
Какие знаешь сценарии?
В контексте B2B: онбординг SME, скоринг/одобрение, выдача и утилизация лимита, кросс-селл (факторинг, РКО), работа с просрочкой (collection). Выберите 1–2 и раскройте метрики.
Будешь ли тестировать свою теорию в A/B тесте?
Да, если есть достаточный трафик и этично/юридически допустимо. В кредитах иногда quasi-experiments, diff-in-diff, geo-тесты вместо классического A/B.
Фишка: Вакансия покрывает 4 направления: SME-карты, корпфин (кредиты/факторинг/лизинг), сегменты и LTV, collection B2B. Подготовьте вопросы к интервьюеру о своём треке.
Совет: Покажите понимание связи аналитики с P&L: не только «конверсия выросла», но и влияние на маржу, риск и LTV.
Когортный retention по выдачам кредита
Есть таблица disbursements (company_id, disbursement_date, product_type). Постройте помесячные когорты по месяцу первой выдачи и посчитайте retention: доля компаний когорты, совершивших повторную операцию (любой продукт) в месяц M+1, M+2, M+3.
WITH first_disb AS (
SELECT company_id,
DATE_TRUNC('month', MIN(disbursement_date)) AS cohort_month
FROM disbursements
GROUP BY 1
),
activity AS (
SELECT d.company_id,
DATE_TRUNC('month', d.disbursement_date) AS activity_month
FROM disbursements d
GROUP BY 1, 2
)
SELECT f.cohort_month,
a.activity_month,
DATE_DIFF('month', f.cohort_month, a.activity_month) AS month_offset,
COUNT(DISTINCT a.company_id) * 1.0 / COUNT(DISTINCT f.company_id) AS retention_rate
FROM first_disb f
JOIN activity a ON f.company_id = a.company_id
WHERE a.activity_month >= f.cohort_month
GROUP BY 1, 2, 3
ORDER BY 1, 3;Сложность: O(n log n) при индексе по company_id и дате
Воронка заявки на кредитную карту SME
Таблица events (company_id, event_name, event_time): 'application_started', 'docs_uploaded', 'scoring_passed', 'card_issued'. Посчитайте конверсию между последовательными шагами и общую CR от старта до выдачи за последние 30 дней. Как найдёте узкое место?
WITH funnel AS (
SELECT company_id,
MAX(CASE WHEN event_name = 'application_started' THEN 1 ELSE 0 END) AS s1,
MAX(CASE WHEN event_name = 'docs_uploaded' THEN 1 ELSE 0 END) AS s2,
MAX(CASE WHEN event_name = 'scoring_passed' THEN 1 ELSE 0 END) AS s3,
MAX(CASE WHEN event_name = 'card_issued' THEN 1 ELSE 0 END) AS s4
FROM events
WHERE event_time >= CURRENT_DATE - 30
GROUP BY 1
)
SELECT SUM(s1) AS started,
SUM(s2) * 1.0 / NULLIF(SUM(s1), 0) AS cr_start_to_docs,
SUM(s3) * 1.0 / NULLIF(SUM(s2), 0) AS cr_docs_to_scoring,
SUM(s4) * 1.0 / NULLIF(SUM(s3), 0) AS cr_scoring_to_issue,
SUM(s4) * 1.0 / NULLIF(SUM(s1), 0) AS cr_overall
FROM funnel;Сложность: O(n)
Интерпретация A/B-теста на лендинге
Тест: новый лендинг vs старый. За 2 недели: control — 10 000 визитов, 400 заявок; treatment — 10 000 визитов, 460 заявок. CR вырос на 15%. Можно катить на 100%? Какие проверки сделаете?
1) Z-тест пропорций: p1=0.04, p2=0.046, n=10000 → z≈2.0, p-value≈0.045 — формально значимо при α=0.05, но на грани. 2) Проверить SRM, сегменты (канал, устройство), guardrails (качество заявок, одобрение, стоимость привлечения). 3) Убедиться, что 2 недели покрывают полный бизнес-цикл (для B2B может быть мало). 4) Решение: не катить сразу на 100% — продлить тест или запустить holdout; мониторить post-launch метрики одобрения и NPL.
Сложность: O(1) для расчёта, O(n) для сегментных проверок
Каркас ответа
3 дня
7 дней
14 дней
| Блок | Готов, если... |
|---|---|
| SQL и работа с данными | можешь за 20 мин написать запрос на воронку и когортный retention с оконными функциями и объяснить оптимизацию |
| A/B-тестирование и статистика | можешь спроектировать тест с нуля: сплит, метрики, sample size, критерий решения и валидация результата |
| Метрики и продуктовая аналитика | различаешь ratio vs average, primary vs guardrail, можешь связать продуктовую метрику с P&L |
| Python и инструменты | можешь описать типичный пайплайн ad-hoc анализа на pandas и инструменты визуализации |
| B2B-кредитование | понимаешь воронку SME-кредита, базовые риск-метрики и можешь задать умные вопросы про направление команды |
В день собеседования