Инженер по производительности, системы вывода

Сан-Франциско, Калифорния | Нью-Йорк, Нью-Йорк | Сиэтл, Вашингтон

О компании Anthropic

Миссия Anthropic — создавать надежные, интерпретируемые и управляемые системы искусственного интеллекта. Мы хотим, чтобы ИИ был безопасным и полезным для наших пользователей и общества в целом. Наша команда — быстрорастущая группа преданных своему делу исследователей, инженеров, экспертов по политике и бизнес-лидеров, которые работают вместе над созданием полезных систем ИИ.

О роли

Флот систем вывода Anthropic обслуживает Claude для миллионов пользователей через наши собственные продукты и крупнейшие облачные платформы мира. Стек, который это обеспечивает, глубокий и тесно связанный: ядра ускорителей, серверы моделей, распределённая маршрутизация, автмасштабирование, управление мощностями. Каждый уровень влияет на другие, часто таким образом, который трудно увидеть в изоляции.

Команда Dynamics систем вывода отвечает за понимание всей этой системы и поддержание её на высоком уровне по четырём параметрам: пропускная способность, задержка, надежность и корректность. Мы измеряем, как флот работает относительно своей теоретической границы производительности, проводим межслойные расследования для объяснения разрывов и отвечаем за проверки корректности, которые гарантируют, что выводы Claude правильны, а не просто быстры, на разных аппаратных платформах и конфигурациях обслуживания. Мы не владеем отдельными компонентами. Мы их инструментируем и моделируем, находим возможности с наибольшим потенциалом улучшения и сотрудничаем с командами-владельцами для реализации улучшений.

Вы будете работать во всех четырёх областях. В одну неделю это может означать отслеживание регрессии задержки в хвосте от времени запроса через маршрутизацию и пакетирование до накладных расходов ядра; на следующей — ужесточение оценки корректности, чтобы она обнаруживала регрессию вывода, вызванную изменением квантизации. Мы ищем инженеров по производительности, которые рассматривают корректность как часть производительности.

Основные обязанности

• Проводить межслойные расследования производительности по пропускной способности, задержке и надежности, оценивать разрыв между фактической производительностью флота и теоретическими пределами, выявлять коренные причины и количественно оценивать ценность их устранения.
• Отвечать за улучшение конвейера оценки корректности, который проверяет качество вывода модели на разных аппаратных платформах, численных методах и конфигурациях обслуживания, а также вести расследование при обнаружении регрессии.
• Создавать инструменты наблюдаемости, панели мониторинга и модели, которые делают понятными пропускную способность, задержку, стоимость, надежность, корректность и их взаимодействия по всему стеку.
• Сотрудничать с командами ядер, обслуживания, маршрутизации, автмасштабирования и управления мощностями для приоритизации и реализации оптимизаций с наибольшим эффектом, выявленных вашим анализом.
• Беспощадно ранжировать большой спектр возможностей по влиянию и усилиям, и отказывать тем, которые не соответствуют критериям.

Минимальные квалификации

• Практический опыт инженерии производительности: профилирование, анализ roofline, оптимизация задержки/пропускной способности и расследование коренных причин в сложных производственных системах.
• Уверенное владение Python, способность читать, инструментировать и вносить вклад в большие производственные кодовые базы, которые вы не писали.
• Хорошие навыки анализа данных (например, SQL, pandas или аналогичные), достаточные для превращения необработанной телеметрии в ясные выводы.
• Умение ясно излагать количественные результаты письменно для влияния на приоритеты в командах, которыми вы не управляете.
• Искренний интерес к корректности как инженерной дисциплине: численные методы, дизайн оценки, обнаружение регрессий.

Желательные квалификации

• Опыт работы с системами машинного обучения, особенно с инфраструктурой обучения или вывода, либо с общими стеками обслуживания больших языковых моделей. Прямой опыт масштабного вывода является большим плюсом.
• Знакомство с концепциями производительности GPU/TPU/ускорителей (пропускная способность памяти, накладные расходы ядра, квантизация, коллективная коммуникация). Важнее умение рассуждать о них, чем написание ядер самостоятельно.
• Опыт инженерии надежности для высокопропускных сервисов: автмасштабирование, балансировка нагрузки, маршрутизация запросов, задержка в хвосте.
• Опыт работы с оценкой моделей или конвейерами обнаружения численных регрессий.
• Опыт создания систем наблюдаемости или телеметрии для распределённых систем.
• Комфортно влиять через убеждение и доказательства, а не через прямое владение.

Примеры проектов

• Отследить разрыв задержки в 350 мс на новой платформе ускорителя от времени запроса до накладных расходов планирования сервера, количественно оценить выигрыш и внедрить исправление самостоятельно или с командой-владельцем.
• Переработать ворота оценки корректности: определить, какие сигналы надежно обнаруживают реальные регрессии вывода модели, а какие — шум, и сделать это доверенным критерием выпуска на всех аппаратных бэкендах.
• Построить воронку FLOPs, которая разбивает, куда фактически расходуется вычислительная мощность по всему флоту, выявляя разрыв между достигнутой пропускной способностью и теоретическими пределами ядер.
• Выявить коренную причину численного расхождения между двумя аппаратными платформами, связав её с конкретным изменением ядра, и определить порог приемлемости на будущее.
• Смоделировать влияние на задержку и стоимость изменения размера пакетов и целей по загрузке, и превратить результат в сигнал, который автмасштабер использует в производстве.

Срок подачи заявок: отсутствует. Заявки рассматриваются по мере поступления.

Годовой диапазон компенсации для этой роли указан ниже.

Для ролей в продажах указанный диапазон — это диапазон целевого дохода ("OTE"), что означает, что диапазон включает как целевые комиссионные/бонусы по продажам, так и годовую базовую зарплату по роли.

Годовая зарплата:

• 350 000 - 850 000 долларов США

Логистика

Минимальное образование: степень бакалавра или эквивалентное сочетание образования, обучения и/или опыта

Требуемая область обучения: область, релевантная роли, подтверждённая курсами, обучением или профессиональным опытом

Минимальный опыт работы: количество лет опыта будет соответствовать внутренним требованиям уровня должности

Политика гибридной работы по локации: В настоящее время мы ожидаем, что весь персонал будет находиться в одном из наших офисов не менее 25% времени. Однако некоторые роли могут требовать большего времени в офисе.

Спонсорство визы: Мы спонсируем визы! Однако мы не всегда можем успешно спонсировать визы для каждой роли и каждого кандидата. Но если мы сделаем вам предложение, мы приложим все разумные усилия для получения визы и сотрудничаем с иммиграционным юристом для помощи в этом.

Мы призываем вас подавать заявку, даже если вы не уверены, что соответствуете всем требованиям. Не все сильные кандидаты соответствуют каждому из перечисленных требований. Исследования показывают, что люди из недостаточно представленных групп чаще испытывают синдром самозванца и сомневаются в силе своей кандидатуры, поэтому мы настоятельно рекомендуем не исключать себя преждевременно и подавать заявку, если вас интересует эта работа. Мы считаем, что системы ИИ, подобные тем, что мы создаём, имеют огромные социальные и этические последствия. Это делает представительство ещё более важным, и мы стремимся включать разнообразные точки зрения в нашу команду.

Ваша безопасность важна для нас. Чтобы защитить себя от возможных мошенничеств, помните, что рекрутеры Anthropic связываются с вами только с адресов электронной почты @anthropic.com. В некоторых случаях мы сотрудничаем с проверенными рекрутинговыми агентствами, которые представляются как работающие от имени Anthropic. Будьте осторожны с письмами с других доменов. Законные рекрутеры Anthropic никогда не будут просить деньги, сборы или банковскую информацию до вашего первого рабочего дня. Если вы сомневаетесь в сообщении, не переходите по ссылкам — посетите anthropic.com/careers напрямую для подтверждения открытых вакансий.

Чем мы отличаемся

Мы считаем, что исследования ИИ с наибольшим воздействием будут крупномасштабными научными проектами. В Anthropic мы работаем как единая сплочённая команда над несколькими крупными исследовательскими инициативами. И мы ценим влияние — продвижение наших долгосрочных целей по созданию управляемого, заслуживающего доверия ИИ — больше, чем работу над мелкими и более специфическими задачами. Мы рассматриваем исследования ИИ как эмпирическую науку, которая имеет столько же общего с физикой и биологией, сколько и с традиционными усилиями в области компьютерных наук. Мы — чрезвычайно коллективная группа и часто проводим исследовательские обсуждения, чтобы убедиться, что занимаемся наиболее значимыми задачами в любой момент времени. Поэтому мы очень ценим навыки коммуникации.

Самый простой способ понять наши исследовательские направления — прочитать наши последние исследования. Эти исследования продолжают многие направления, над которыми наша команда работала до Anthropic, включая: GPT-3, интерпретируемость на основе цепей, мультимодальные нейроны, законы масштабирования, ИИ и вычисления, конкретные проблемы безопасности ИИ и обучение на основе человеческих предпочтений.

Присоединяйтесь к нам!

Anthropic — корпорация общественной пользы с головным офисом в Сан-Франциско. Мы предлагаем конкурентоспособную компенсацию и льготы, опциональное сопоставление пожертвований акциями, щедрый отпуск и декретный отпуск, гибкий график работы и прекрасное офисное пространство для совместной работы с коллегами. Руководство по использованию ИИ кандидатами: Узнайте о нашей политике использования ИИ в процессе подачи заявок.