Evals Infrastructure Tech Lead

О компании Anthropic

Миссия Anthropic — создавать надежные, интерпретируемые и управляемые системы искусственного интеллекта. Мы хотим, чтобы ИИ был безопасным и полезным для наших пользователей и общества в целом. Наша команда — это быстрорастущая группа преданных своему делу исследователей, инженеров, экспертов по политике и бизнес-лидеров, которые работают вместе над созданием полезных систем ИИ.

О роли

Anthropic находится в авангарде исследований ИИ, посвященных разработке безопасного, этичного и мощного искусственного интеллекта. Наша миссия — обеспечить соответствие трансформирующих систем ИИ интересам человека. Мы ищем опытного технического руководителя в команду Evals Infrastructure, которая строит системы, позволяющие нам измерять реальные возможности наших моделей. Оценка — это способ узнать, безопасна ли модель для выпуска — вы будете отвечать за инфраструктуру, которая делает эти измерения быстрыми, надежными и заслуживающими доверия в масштабе. В этой роли вы будете работать на стыке инференса, исследований и инженерии инфраструктуры: управлять крупномасштабными распределёнными системами, которые организуют оценки для наших передовых моделей, создавать и масштабировать инструменты, которые исследователи используют для проектирования и проведения оценок, делать результаты воспроизводимыми и интерпретируемыми, а также обеспечивать доступность сигнала оценки там, где принимаются решения. Ваша работа напрямую влияет на то, что мы создаём, а что нет.

Обязанности

• Проектировать и внедрять высокопроизводительную инфраструктуру обработки данных для обучения больших языковых моделей
• Разрабатывать и поддерживать основные примитивы обработки (например, токенизацию, дедупликацию, разбиение на части) с акцентом на масштабируемость
• Создавать надежные системы обеспечения качества и валидации данных в масштабе
• Внедрять комплексные системы мониторинга инфраструктуры обработки данных
• Создавать и оптимизировать распределённые вычислительные системы для обработки веб-масштабных наборов данных
• Сотрудничать с исследовательскими командами для реализации новых архитектур обработки данных
• Создавать и поддерживать документацию для компонентов и систем инфраструктуры
• Проектировать и внедрять системы для воспроизводимости и отслеживаемости в подготовке данных
• Обеспечивать непосредственное руководство инженерными усилиями по улучшению производительности моделей и масштабированию наших систем инференса и обучения
• Достаточно хорошо разбираться в техническом стеке команды, чтобы вносить целенаправленные вклады как индивидуальный участник
• Управлять повседневным выполнением работы команды
• Приоритизировать работу команды и управлять проектами в условиях высокой динамичности и быстрого темпа
• Наставлять и поддерживать своих подчинённых в понимании и достижении их профессионального роста
• Поддерживать глубокое понимание технической работы команды и её влияния на безопасность ИИ

Вы можете подойти, если у вас есть

• Опыт управления в технической среде не менее 1 года, особенно в области производительности или распределённых систем
• Глубокий интерес к потенциальным трансформирующим эффектам продвинутых систем ИИ и приверженность обеспечению их безопасного развития
• Отличные навыки построения крепких отношений с заинтересованными сторонами на всех уровнях
• Опыт управления командами в периоды быстрого роста и изменений
• Сильные навыки программной инженерии с опытом создания распределённых систем
• Экспертиза в Python и Rust
• Глубокое понимание облачных вычислительных платформ и архитектуры распределённых систем
• Опыт проектирования систем с высокой пропускной способностью и отказоустойчивостью
• Сильный опыт оптимизации производительности и масштабирования систем
• Отличные навыки решения проблем и внимание к деталям
• Сильные коммуникативные навыки и умение работать в коллективной среде
• Опыт работы с инфраструктурой обучения языковых моделей
• Сильный опыт в распределённых системах и параллельных вычислениях
• Экспертиза в алгоритмах и техниках токенизации
• Опыт создания систем с высокой пропускной способностью и отказоустойчивостью
• Глубокие знания практик мониторинга и наблюдаемости
• Опыт работы с инфраструктурой как кодом и управлением конфигурациями

Желательные качества у кандидатов:

• Значительный опыт создания и поддержки крупномасштабных распределённых систем
• Страсть к надежности и производительности систем
• Удовольствие от решения сложных технических задач в масштабе
• Комфорт при работе с неоднозначными требованиями и меняющимися спецификациями
• Способность брать на себя ответственность за проблемы и самостоятельно находить решения
• Воодушевление от вклада в разработку безопасных и этичных систем ИИ
• Умение балансировать техническое совершенство с практической реализацией

Примеры проектов

• Проектирование и внедрение архитектуры распределённых вычислений для обработки данных веб-масштаба
• Создание масштабируемой инфраструктуры для подготовки данных обучения моделей
• Разработка комплексных систем мониторинга и оповещения
• Оптимизация инфраструктуры токенизации для повышения пропускной способности
• Разработка отказоустойчивых распределённых систем обработки
• Внедрение новых компонентов инфраструктуры на основе требований исследований
• Создание автоматизированных тестовых фреймворков для распределённых систем

Логистика

Минимальное образование:

Степень бакалавра или эквивалентное сочетание образования, обучения и/или опыта

Требуемая область обучения:

Область, релевантная роли, подтверждённая учебными курсами, обучением или профессиональным опытом

Минимальный опыт работы:

Требуемый опыт будет соответствовать внутренним требованиям уровня должности

Политика гибридной работы в зависимости от местоположения:

В настоящее время мы ожидаем, что весь персонал будет находиться в одном из наших офисов не менее 25% времени. Однако некоторые роли могут требовать большего времени в офисе.

Спонсорство визы:

Мы спонсируем визы! Однако мы не всегда можем успешно спонсировать визы для каждой роли и каждого кандидата. Но если мы сделаем вам предложение, мы приложим все разумные усилия, чтобы получить для вас визу, и у нас есть иммиграционный юрист, который помогает в этом.

Чем мы отличаемся

Мы считаем, что исследования ИИ с наибольшим воздействием будут крупномасштабными научными проектами. В Anthropic мы работаем как единая сплочённая команда над всего несколькими крупномасштабными исследовательскими инициативами. Мы ценим влияние — продвижение наших долгосрочных целей по созданию управляемого, заслуживающего доверия ИИ — а не работу над мелкими и более специфическими задачами. Мы рассматриваем исследования ИИ как эмпирическую науку, которая имеет столько общего с физикой и биологией, сколько и с традиционными усилиями в области компьютерных наук. Мы — чрезвычайно коллективная группа и часто проводим исследовательские обсуждения, чтобы гарантировать, что мы занимаемся работой с наибольшим воздействием в любой момент времени. Поэтому мы очень ценим коммуникативные навыки.

Ваша безопасность важна для нас. Чтобы защитить себя от возможных мошенничеств, помните, что рекрутеры Anthropic связываются с вами только с адресов электронной почты @anthropic.com. В некоторых случаях мы можем сотрудничать с проверенными рекрутинговыми агентствами, которые представляются как работающие от имени Anthropic. Будьте осторожны с письмами с других доменов. Законные рекрутеры Anthropic никогда не будут просить деньги, сборы или банковскую информацию до вашего первого рабочего дня. Если вы сомневаетесь в каком-либо сообщении, не переходите по ссылкам — посетите anthropic.com/careers напрямую для подтверждения открытых вакансий.

Присоединяйтесь к нам!

Anthropic — это корпорация общественной пользы с главным офисом в Сан-Франциско. Мы предлагаем конкурентоспособную оплату и льготы, опциональное сопоставление пожертвований акциями, щедрый отпуск и декретный отпуск, гибкий график работы и прекрасное офисное пространство для совместной работы с коллегами.