Оценщик взаимодействия с ИИ

Старший оценщик взаимодействия с ИИ (Codex / Claude Code)

Контракт | $100–$200/час | 10–20 часов в неделю | Начало как можно скорее (до начала мая)

Посмотрите это видео на Loom для получения дополнительной информации!

Мы ищем высококвалифицированного инженера-программиста (уровень SR+), который поможет оценивать качество взаимодействия с современными агентами кодирования, такими как OpenAI Codex и Claude Code.

Это не традиционная инженерная роль.

Вы не будете писать код для продакшена.
Вам предстоит оценивать нечто более сложное: насколько модель думает как отличный инженер.

Что на самом деле представляет собой эта роль

Вы будете оценивать, как агенты ИИ для кодирования ведут себя в реальных сценариях — с акцентом на:

• Соответствует ли ответ здравому смыслу

• Полезны ли вступление и рассуждения

• Отражает ли вывод сильное инженерное суждение

• Чувствуется ли взаимодействие правильным для опытного разработчика

Эта роль связана с инженерным вкусом — а не с правильностью синтаксиса.

Чем вы будете заниматься

• Оценивать взаимодействия с кодом, сгенерированные ИИ, от начала до конца

• Судить, являются ли результаты:

  • Полезными

  • Корректными (на высоком уровне)

  • Соответствующими тому, как думает сильный инженер

• Оценивать качество объяснений и рассуждений, а не только код

• Различать уровни качества ответа (например, что отличает оценку 2 от 4)

• Предоставлять чёткую, аргументированную обратную связь по:

  • Что сработало

  • Что не сработало

  • Что показалось «неправильным» или вводящим в заблуждение

• Помогать определить, как выглядит отличное взаимодействие с такими инструментами, как Cursor

Что мы понимаем под «вкусом»

Мы ищем инженеров, которые могут ответить на вопросы типа:

• Кажется ли это тем, что действительно сказал бы сильный инженер?

• Полезно ли это объяснение или оно просто технически корректно?

• Направляет ли модель пользователя правильно или просто выдаёт результат?

• Создаст ли это взаимодействие доверие или подорвет его?

Вы должны быть готовы делать субъективные, но строгие суждения.

Кто вы

• Инженер уровня Staff / Principal (или эквивалентный опыт)

• Сильный опыт в одной из следующих областей:

  • TypeScript / JavaScript

  • Python

• Практический опыт использования:

  • OpenAI Codex

  • Claude Code

  • Cursor

• Глубокое знакомство с современными рабочими процессами разработки с поддержкой ИИ

• Способность оценивать код без необходимости полностью запускать или глубоко проверять каждую строку

• Уверенность в предоставлении прямой, аргументированной обратной связи

• Высокие стандарты того, что такое «хорошее инженерное дело»

Желательно иметь

• Опыт работы с инструментами типа Cursor или аналогичными IDE с приоритетом на ИИ

• Предыдущий опыт проектирования подсказок или оценки рабочих процессов

• Опыт наставничества старших инженеров или определения инженерных стандартов

Детали сотрудничества

• Ставка: $100–$200/час

• Часы: примерно 10–20 часов в неделю

• Продолжительность: до начала мая (с возможным продлением)

• Начало: как можно скорее

• Процесс:

  • Домашнее задание для оценки

  • Одно поведенческое интервью