Старший Python-инженер — оценка кода LLM

Старший оценщик взаимодействия с ИИ (Codex / Claude Code)

Контракт | $100–$200/час | 10–20 часов/неделю | Старт как можно скорее (до начала мая)

Посмотрите это видео на Loom, чтобы узнать больше!

Мы ищем очень опытного инженера-программиста (уровень SR+), который поможет оценивать качество взаимодействия с современными агентами для написания кода, такими как OpenAI Codex и Claude Code.

Это не традиционная инженерная роль.

Вы не будете писать продакшен-код.
Вы будете оценивать нечто более сложное: думает ли модель как отличный инженер.

Что это за роль на самом деле

Вы будете оценивать, как ИИ-агенты для написания кода ведут себя в реальных сценариях — с акцентом на:

• Имеет ли ответ смысл

• Полезны ли преамбула и рассуждения

• Отражает ли результат сильное инженерное суждение

• Ощущается ли взаимодействие правильным для опытного разработчика

Эта роль — про инженерный вкус, а не про корректность синтаксиса.

Чем вы будете заниматься

• Оценивать сгенерированные ИИ взаимодействия по написанию кода от начала до конца

• Оценивать, являются ли результаты:

  • Полезными

  • Корректными (на высоком уровне)

  • Соответствующими тому, как думал бы сильный инженер

• Оценивать качество объяснений и рассуждений, а не только код

• Различать уровни качества ответа (например, что делает что-то оценкой 2, а не 4)

• Давать чёткую, обоснованную обратную связь о том:

  • Что сработало

  • Что не сработало

  • Что казалось «не тем» или вводящим в заблуждение

• Помогать определить, как выглядит отличное взаимодействие с такими инструментами, как Cursor

Что мы подразумеваем под «вкусом»

Нам нужны инженеры, которые могут ответить на такие вопросы:

• Похоже ли это на то, что на самом деле сказал бы сильный инженер?

• Это объяснение полезно или просто технически корректно?

• Модель хорошо направляет пользователя или просто сбрасывает результат?

• Это взаимодействие укрепляет доверие или разрушает его?

Вам должно быть комфортно выносить субъективные, но строгие суждения.

Кто вы

• Инженер уровня Staff / Principal (или эквивалентный опыт)

• Сильный бэкграунд в одном из нижеперечисленного:

  • TypeScript / JavaScript

  • Python

• Практический опыт использования:

  • OpenAI Codex

  • Claude Code

  • Cursor

• Глубокое знакомство с современными рабочими процессами разработки с помощью ИИ

• Способность оценивать код без необходимости полностью запускать его или глубоко ревьюить каждую строку

• Готовность давать прямую, обоснованную обратную связь

• Высокая планка того, как выглядит «хорошая инженерия»

Будет плюсом

• Опыт работы с инструментами вроде Cursor или аналогичными ИИ-first IDE

• Предыдущий опыт в проектировании промптов или процессах оценки

• Опыт менторства старших инженеров или определения инженерных стандартов

Детали сотрудничества

• Ставка: $100–$200/час

• Часы: ~10–20 часов/неделю

• Длительность: До начала мая (с возможностью продления)

• Старт: Как можно скорее

• Процесс:

  • Домашнее оценочное задание

  • Одно поведенческое интервью