Ведущий инженер-программист (оценка ИИ)

Ведущий инженер-программист (AI Evals)

Контракт | $100–$200/час | 20-40 часов в неделю | Начало как можно скорее

Мы ищем высококвалифицированного инженера-программиста, который поможет оценить качество взаимодействия с современными агентами для кодирования, такими как OpenAI Codex и Claude Code.

Это не традиционная инженерная роль.

Вы не будете писать производственный код.
Вам предстоит оценивать нечто более сложное: насколько модель думает как отличный инженер.

Что на самом деле представляет собой эта роль

Вы будете оценивать, как агенты искусственного интеллекта для кодирования ведут себя в реальных сценариях — с акцентом на:

• Соответствует ли ответ здравому смыслу

• Полезны ли вступление и рассуждения

• Отражает ли результат сильное инженерное суждение

• Чувствуется ли взаимодействие правильным для опытного разработчика

Эта роль связана с инженерным вкусом — а не с правильностью синтаксиса.

Чем вы будете заниматься

• Оценивать взаимодействия с кодом, сгенерированные ИИ, от начала до конца

• Судить, являются ли результаты:

  • Полезными

  • Корректными (на высоком уровне)

  • Соответствующими тому, как думает сильный инженер

• Оценивать качество объяснений и рассуждений, а не только код

• Различать уровни качества ответа (например, что отличает оценку 2 от 4)

• Предоставлять чёткую, аргументированную обратную связь по:

  • Что сработало

  • Что не сработало

  • Что показалось «неправильным» или вводящим в заблуждение

• Помогать определить, как выглядит отличное взаимодействие с такими инструментами, как Cursor

Что мы подразумеваем под «вкусом»

Мы ищем инженеров, которые могут ответить на вопросы типа:

• Кажется ли это тем, что сильный инженер действительно сказал бы?

• Полезно ли это объяснение или оно просто технически корректно?

• Направляет ли модель пользователя хорошо или просто выдаёт результат?

• Создаст ли это взаимодействие доверие или подорвет его?

Вы должны быть готовы делать субъективные, но строгие суждения.

Кто вы

• Инженер уровня Staff / Principal (или эквивалентный опыт)

• Сильный опыт в одной из следующих областей:

  • Go

  • Python

  • Rust

  • TypeScript / JavaScript

• Практический опыт использования:

  • OpenAI Codex

  • Claude Code

  • Cursor

• Глубокое понимание современных рабочих процессов с поддержкой ИИ

• Способность оценивать код без необходимости полностью выполнять или глубоко проверять каждую строку

• Уверенность в предоставлении прямой, аргументированной обратной связи

• Высокие стандарты того, что такое «хорошее инженерное дело»

Желательно

• Опыт работы с инструментами типа Cursor или аналогичными IDE с приоритетом на ИИ

• Предыдущий опыт проектирования подсказок или оценки рабочих процессов

• Опыт наставничества старших инженеров или определения инженерных стандартов

Детали сотрудничества

• Ставка: $100–$200/час

• Часы: около 20 часов и более

• Продолжительность: до октября с возможным продлением

• Начало: как можно скорее

• Процесс:

  • Домашнее тестовое задание

  • Проверка биографии

  • Предложение о работе