Инженер-исследователь / Ученый, Наука о согласовании

Сан-Франциско, Калифорния

О компании Anthropic

Миссия Anthropic — создавать надежные, интерпретируемые и управляемые системы искусственного интеллекта. Мы хотим, чтобы ИИ был безопасным и полезным для наших пользователей и общества в целом. Наша команда — быстрорастущая группа преданных своему делу исследователей, инженеров, экспертов по политике и бизнес-лидеров, которые работают вместе над созданием полезных систем ИИ.

О роли:

Вы хотите создавать и проводить изящные и тщательные эксперименты в области машинного обучения, чтобы помочь нам понять и управлять поведением мощных систем ИИ. Вам важно, чтобы ИИ был полезным, честным и безвредным, и вас интересуют сложности, которые могут возникнуть в контексте возможностей на уровне человека. Вы можете описать себя как ученого и инженера одновременно. В качестве инженера-исследователя в области науки о согласовании вы будете вносить вклад в исследовательские экспериментальные работы по безопасности ИИ, с акцентом на риски от мощных будущих систем (таких, которые мы обозначаем как ASL-3 или ASL-4 согласно нашей Политике ответственного масштабирования), часто в сотрудничестве с другими командами, включая Интерпретируемость, Тонкую настройку и Команду по переднему краю.

Наш блог предоставляет обзор тем, которые команда науки о согласовании либо сейчас исследует, либо исследовала ранее. Наши текущие направления включают...

• Масштабируемый надзор: Разработка методов, позволяющих сохранять полезность и честность высокоэффективных моделей, даже когда они превосходят человеческий уровень интеллекта в различных областях.
• Контроль ИИ: Создание методов, гарантирующих, что продвинутые системы ИИ остаются безопасными и безвредными в незнакомых или враждебных сценариях.
• Стресс-тестирование согласования: Создание модельных организмов несогласованности для улучшения нашего эмпирического понимания того, как могут возникать сбои в согласовании.
• Автоматизированные исследования согласования: Создание и согласование системы, которая может ускорить и улучшить исследования в области согласования.
• Оценка согласования: Понимание и документирование наиболее критичных и вызывающих беспокойство новых свойств моделей через оценку согласования и благополучия до развертывания (см. нашу Системную карту Claude 4), кейсы безопасности рисков несогласованности и координацию с внешними оценщиками.
• Исследования мер защиты: Разработка надежных защит от атак, комплексных рамок оценки безопасности моделей и автоматизированных систем для обнаружения и смягчения потенциальных рисков до развертывания.
• Благополучие моделей: Исследование и решение вопросов потенциального благополучия моделей, морального статуса и связанных с этим вопросов. Подробнее см. наше объявление программы и оценку благополучия в системной карте Claude 4.

Примечание: Для этой роли все интервью проводятся на Python, и мы предпочитаем кандидатов, базирующихся в районе залива.

Примеры проектов:

• Тестирование устойчивости наших методов безопасности путем обучения языковых моделей обходить наши методы безопасности и оценка их эффективности в обходе наших вмешательств.
• Проведение экспериментов с многопользовательским обучением с подкреплением для проверки таких методов, как Дебаты ИИ.
• Создание инструментов для эффективной оценки эффективности новых способов обхода ограничений, сгенерированных большими языковыми моделями.
• Написание скриптов и подсказок для эффективного создания вопросов для оценки способностей моделей к рассуждению в контекстах, связанных с безопасностью.
• Внесение идей, создание иллюстраций и написание текстов для научных статей, блогов и докладов.
• Проведение экспериментов, которые поддерживают ключевые усилия по безопасности ИИ в Anthropic, такие как разработка и внедрение нашей Политики ответственного масштабирования.

Вы можете подойти, если вы:

• Имеете значительный опыт в программировании, машинном обучении или инженерии исследований
• Имеете некоторый опыт участия в эмпирических проектах по исследованию ИИ
• Знакомы с техническими исследованиями в области безопасности ИИ
• Предпочитаете быстро движущиеся совместные проекты обширным индивидуальным усилиям
• Готовы подхватить работу, даже если она выходит за рамки вашей должностной инструкции
• Заботитесь о влиянии ИИ

Сильные кандидаты также могут:

• Иметь опыт написания научных статей по машинному обучению, обработке естественного языка или безопасности ИИ
• Иметь опыт работы с большими языковыми моделями
• Иметь опыт работы с обучением с подкреплением
• Иметь опыт работы с кластерами Kubernetes и сложными общими кодовыми базами

Кандидатам необязательно иметь:

• 100% навыков, необходимых для выполнения работы
• Формальные сертификаты или дипломы

Годовой диапазон компенсации для этой роли указан ниже.

Для ролей в продажах указанный диапазон — это диапазон целевого дохода ("OTE"), что означает, что он включает как комиссионные/бонусы по продажам, так и годовую базовую зарплату.

Годовая зарплата:

350 000 - 500 000 долларов США

Логистика

Требования к образованию:

Мы требуем как минимум степень бакалавра в смежной области или эквивалентный опыт. Политика гибридной работы в зависимости от местоположения: В настоящее время мы ожидаем, что весь персонал будет находиться в одном из наших офисов не менее 25% времени. Однако для некоторых ролей может потребоваться больше времени в офисе.

Спонсорство визы:

Мы спонсируем визы! Однако мы не всегда можем успешно спонсировать визу для каждой роли и каждого кандидата. Но если мы сделаем вам предложение, мы приложим все разумные усилия, чтобы получить для вас визу, и у нас есть иммиграционный юрист, который помогает в этом.

Присоединяйтесь к нам!

Anthropic — это корпорация общественной пользы с головным офисом в Сан-Франциско. Мы предлагаем конкурентоспособную компенсацию и льготы, опциональное сопоставление пожертвований в акции, щедрый отпуск и декретный отпуск, гибкий график работы и прекрасное офисное пространство для совместной работы с коллегами.