Разработчик‑исследователь в команду оценки эффективности AI‑инструментов в Техплатформу

Команда метрик Рекламы развивает ключевые метрики рекламного продукта Яндекса — одного из самых технологичных и прибыльных бизнесов компании. Один из наших основных проектов — главная приёмочная метрика A/B‑экспериментов Рекламы. Это основной KPI для многих технических команд. Мы уже решили несколько задач: правильно учитываем конверсии, оцениваем их ценность с помощью AI и ограничиваем показы на неэффективных площадках.

Мы также разрабатываем и поддерживаем более 6000 метрик Рекламы. Это значит, что мы работаем с высоконагруженной распределённой системой, каждый день обрабатываем несколько петабайт данных и проводим исследования.

Мы создали KPI‑дашборд — удобный инструмент аналитики всех A/B‑экспериментов. С его помощью команды получают задачи и сдают результаты.

Запускаем новый проект — оценку эффективности использования AI‑инструментов разработки. Именно для этой работы мы ищем исследователя‑разработчика. В команде мы проходим весь цикл разработки — от исследований и проверки гипотез до создания инструментов и их успешного запуска.

Развитие метрик оценки AI‑инструментов
Вы будете разрабатывать метрики, которые объективно покажут, какую пользу дают AI‑технологии на разных этапах создания новых фич. По последним исследованиям, такие инструменты ускоряют разработку, но не так сильно, как ожидалось.

Исследование оптимизации разработки
Вам предстоит анализировать метрики, чтобы точнее оценивать выгоду от внедрения технологий и находить инсайты.

Визуализация метрик
Ваша задача — создать удобный и быстрый дашборд, который покажет эффективность разработки. Он поможет отделам оптимизировать работу и оценивать, насколько полезны новые инструменты.

• Пишете быстрый и надёжный код на Python
• Владеете YQL и оптимизируете запросы под большие объёмы
• Хорошо знаете математику и статистику: корректно оцениваете эффекты, понимаете физический смысл метрик
• Умеете исследовать и проверять гипотезы на данных (формулировка → расчёт → выводы)
• Интересуетесь современными AI‑инструментами разработки и хотите понять, что именно в них нужно измерять

• Работали с большими данными и высоконагруженными системами
• Проектировали и сопровождали метрики, включая дашборды и мониторинги
• Имеете ML/DS‑бэкграунд: умеете оценивать модели и метрики, понимаете источники смещений