Оценщик ИИ-агента

Старший специалист по оценке взаимодействий с ИИ (Codex / Claude Code)

Контракт | $100–$200/час | 10–20 часов/неделю | Старт как можно скорее (до начала мая)

Посмотрите это видео на Loom, чтобы узнать больше!

Мы ищем высокоопытного инженера-программиста (уровня Senior и выше), который поможет оценивать качество взаимодействий с современными агентами для написания кода, такими как OpenAI Codex и Claude Code.

Это не традиционная инженерная роль.

Вы не будете писать продакшен-код.
Вы будете оценивать нечто более сложное: думает ли модель как выдающийся инженер.

Чем эта роль является на самом деле

Вы будете оценивать, как ИИ-агенты для написания кода ведут себя в реальных сценариях — с фокусом на:

• Имеет ли ответ смысл

• Полезны ли преамбула и рассуждения

• Отражает ли результат сильное инженерное суждение

• Ощущается ли взаимодействие правильным для опытного разработчика

Эта роль — про инженерный вкус — а не про корректность синтаксиса.

Чем вы будете заниматься

• Оценивать сгенерированные ИИ взаимодействия по написанию кода от начала до конца

• Определять, являются ли результаты:

  • Полезными

  • Корректными (на высоком уровне)

  • Соответствующими тому, как думал бы сильный инженер

• Оценивать качество объяснений и рассуждений, а не только код

• Различать разные уровни качества ответа (например, что делает что-то оценкой 2 против 4)

• Давать чёткую, аргументированную обратную связь о том:

  • Что сработало

  • Что не сработало

  • Что ощущалось «не так» или вводило в заблуждение

• Помогать определить, как выглядит отличное взаимодействие с такими инструментами, как Cursor

Что мы имеем в виду под «вкусом»

Мы специально ищем инженеров, которые могут ответить на такие вопросы:

• Ощущается ли это как то, что на самом деле сказал бы сильный инженер?

• Это объяснение полезно или просто технически корректно?

• Модель хорошо направляет пользователя или просто вываливает результат?

• Это взаимодействие укрепит доверие или подорвёт его?

Вам должно быть комфортно выносить субъективные, но строгие суждения.

Кто вы

• Инженер уровня Staff / Principal (или эквивалентный опыт)

• Сильный бэкграунд в одном из нижеперечисленного:

  • TypeScript / JavaScript

  • Python

• Практический опыт использования:

  • OpenAI Codex

  • Claude Code

  • Cursor

• Глубокое знакомство с современными рабочими процессами разработки с помощью ИИ

• Способность оценивать код без необходимости полностью исполнять его или глубоко проверять каждую строку

• Готовность давать прямую, аргументированную обратную связь

• Высокая планка того, как выглядит «хорошая инженерия»

Будет плюсом

• Опыт работы с инструментами вроде Cursor или аналогичными ИИ-ориентированными IDE

• Предыдущий опыт в проектировании промптов или рабочих процессах оценки

• Опыт менторства старших инженеров или определения инженерных стандартов

Детали сотрудничества

• Ставка: $100–$200/час

• Часы: ~10–20 часов/неделю

• Длительность: До начала мая (с возможностью продления)

• Старт: Как можно скорее

• Процесс:

  • Домашнее оценочное задание

  • Одно поведенческое интервью