Старший инженер-программист Python, обучение ИИ

Контракт | Удалённо, по всему миру | $100-$200 в час в зависимости от опыта и местоположения | 10-20 часов в неделю

Посмотрите это видео на Loom для получения дополнительной информации: https://www.loom.com/share/b0d1b0bf24c44ae8b95dca84b9db60e5

Мы ищем высококвалифицированного инженера-программиста (SR+) для помощи в оценке качества взаимодействия с современными агентами кодирования, такими как OpenAI Codex и Claude Code.

Это не традиционная инженерная роль. Вы не будете писать код для продакшена. Вы будете оценивать нечто более сложное: думает ли модель как отличный инженер.

Что на самом деле представляет собой эта роль

Вы будете оценивать, как агенты искусственного интеллекта для кодирования ведут себя в реальных сценариях, сосредотачиваясь на:

• Соответствует ли ответ здравому смыслу

• Полезны ли вступление и рассуждения

• Отражает ли результат сильное инженерное суждение

• Кажется ли взаимодействие правильным для опытного разработчика

Эта роль связана с инженерным вкусом. Корректность синтаксиса — это простая часть.

Чем вы будете заниматься

• Оценивать взаимодействия с кодом, сгенерированные ИИ, от начала до конца

• Судить, полезны ли результаты, корректны ли они на высоком уровне и соответствуют ли мышлению сильного инженера

• Оценивать качество объяснений и рассуждений, а не только кода

• Различать уровни качества ответов (что делает ответ 2 отличным от 4)

• Давать чёткую, аргументированную обратную связь в письменной форме о том, что сработало, что нет и что показалось неправильным или вводящим в заблуждение

• Помогать определить, что значит «отлично», работая с такими инструментами, как Cursor, Codex и Claude Code

Что мы подразумеваем под «вкусом»

Мы ищем инженеров, которые могут ответить на вопросы, такие как:

• Кажется ли это тем, что действительно сказал бы сильный инженер?

• Помогает ли это объяснение, или оно просто технически корректно?

• Направляет ли модель пользователя хорошо, или просто выдаёт результат?

• Построит ли это взаимодействие доверие или подорвет его?

Вы должны быть готовы делать субъективные, но строгие суждения и ясно их объяснять.

Кто вы

• Инженер уровня Senior, Staff или Principal (или эквивалентный опыт)

• Сильные знания TypeScript/JavaScript или Python

• Практический опыт работы как минимум с одним из OpenAI Codex, Claude Code или Cursor

• Глубокое знакомство с современными рабочими процессами разработки с поддержкой ИИ

• Способность оценивать код без его выполнения или просмотра каждой строки

• Хорошее владение английским языком в письменной и устной форме (уровень B2 и выше). Вам предстоит писать подробные отзывы и записывать короткие видеообъяснения, поэтому это обязательное требование

• Уверенность в предоставлении прямой, аргументированной обратной связи

• Высокие стандарты того, что такое хороший инженеринг

Желательно иметь

• Предыдущий опыт работы с дизайном подсказок или оценочными рабочими процессами

• Опыт наставничества старших инженеров или определения инженерных стандартов

Детали сотрудничества

• Ставка: $100-$200 в час в зависимости от опыта и местоположения

• Часы: 10-20 часов в неделю, гибкий график

• Продолжительность: постоянная. Проекты длятся от примерно двух недель до нескольких месяцев, и мы предлагаем новые проекты оценщикам, которые показывают хорошие результаты

• Начало: как только вы пройдёте домашнее задание и появится свободное место в проекте

• Процесс: одно домашнее задание с записанным обзором на Loom. Собеседования нет