О компании Nscale
Nscale бросает вызов гипермасштаберам, создавая вертикально интегрированную облачную платформу GenAI. Мы владеем дата-центрами, программным обеспечением и приложениями, которые обеспечивают работу современного AI-стека, используя устойчивые технологические решения. Мы процветаем благодаря культуре неустанных инноваций, ответственности и владения процессом, где каждый член команды гордится своей работой и выполняет её с превосходством и срочностью. Как Nscaler, вы будете строить доверие через открытость и прозрачность, где каждый вдохновлен делать свою лучшую работу. Сотрудничество — ключевой фактор, и мы работаем вместе быстро и с уважением, принимая адаптивность и устойчивость во всем, что делаем.
О роли
Nscale ищет ведущего инженера по искусственному интеллекту (специализированного), который возглавит направление инференса и пост-тренировки в нашей организации инженерии AI-систем. Вы определите многолетнюю техническую дорожную карту того, как модели обслуживаются, оцениваются и проходят пост-тренировку в GPU-облаке Nscale, включая выделенный и бессерверный инференс, а также развертывания с использованием собственных моделей. Вы будете руководить наиболее значимыми архитектурными программами в этой области и устанавливать инженерные стандарты, которым следуют 20–50+ инженеров.
Как ведущий инженер, вы являетесь одним из глубочайших технических авторитетов компании в области AI-систем. Ваши решения определяют стоимость, задержку и надежность, с которыми Nscale обслуживает токены и выполняет пост-тренировочные задачи, и эти показатели должны конкурировать с ведущими мировыми поставщиками AI-инфраструктуры. Проблемы охватывают весь стек: эффективность ядра на современных GPU-системах, архитектура кеша KV и обслуживания на уровне флота, оценки, подтверждающие качество модели, и RL-петли, где инференс и тренировка используют общее оборудование. Вы формируете решения, которые организация реализует, включая API-контракты, которые видят клиенты.
Как мы работаем
- Годами собаки. Мы движемся быстро и сжимаем много обучения в короткий срок.
- Не позволяйте совершенству стать врагом хорошего. Выпускайте, измеряйте, итерайте.
- Будьте неумолимы. Возьмите проблему под полный контроль и доведите её до конца.
- Одна команда, одна миссия. Результаты важнее процессов, и нет «это не моя работа».
Обязанности
- Определять и владеть многолетней технической дорожной картой платформы инференса, оценок и пост-тренировки Nscale, и переводить её в архитектуру, которую могут реализовывать несколько команд
- Руководить архитектурными инициативами масштаба компании в этом направлении, такими как следующее поколение обслуживания (разделённое предварительное заполнение/декодирование, оркестрация кеша KV между GPU, хостом и уровнями хранения, спекулятивное декодирование, мультиарендное планирование), работа с ядрами GPU и эффективностью моделей (кастомные ядра, FP8/NVFP4/INT8/4 квантизация, разреженность, дистилляция, обслуживание MoE), фреймворки для оценок и бенчмаркинга, а также инфраструктура пост-тренировки и RL
- Устанавливать инженерные стандарты, принятые во всех AI-командах: дизайн API и гарантии совместимости, методологии бенчмаркинга и оценок, нормы стабильности тренировки и практики тестирования производительности
- Владеть фреймворком, по которому принимаются и измеряются компромиссы между стоимостью, задержкой, пропускной способностью и качеством модели в рамках направления
- Раннее выявление долгосрочных системных рисков (ставки на движок обслуживания и фреймворк, поддержка ускорителей, пробелы в возможностях) и их разрешение до того, как они заблокируют организацию
- Согласовывать техническую стратегию между инженерией AI, исследовательскими, продуктовыми и инфраструктурными руководителями; формулировать технические компромиссы в продуктовых и коммерческих терминах
- Наставлять и развивать старших и ведущих инженеров AI, а также выращивать следующее поколение технических лидеров инференса в Nscale
- Представлять технический подход Nscale внешне: лидерство в open-source проектах, на которых мы основываемся, публикации, выступления на конференциях и партнерства с производителями GPU и AI-лабораториями
Требования
- 10–15 лет инженерного опыта с явным подтверждением влияния на уровне направления в производственных AI-системах
- 4+ года практического опыта работы с LLM в инференсе, производительности GPU, оценках или пост-тренировке и RL, в производстве или исследовании
- Доказанная способность определять многолетнюю техническую стратегию для сложных организаций AI-систем с несколькими командами
- Мировой уровень глубины в производственном инференсе LLM, производительности GPU, оценках и/или инфраструктуре пост-тренировки и RL, с сильными знаниями в остальных областях
- Доказанное владение архитектурой крупномасштабной производственной платформы инференса или тренировки
- Подтвержденная способность создавать архитектурные фреймворки и инженерные стандарты, принятые в больших инженерных организациях
- Глубокое понимание границы аппаратного и программного обеспечения для AI-ускорителей: CUDA или ROCm, пропускная способность памяти и ограничения межсоединений, распределённые вычислительные парадигмы
- Сильный опыт развития технических лидеров (Staff и выше) и умножения технических возможностей команд
- Внешнее признание в сообществе AI-систем через исследования, open source или вклад в индустрию
Желательно
- Опыт работы в ведущей AI-лаборатории или крупной команде AI-инфраструктуры гипермасштабера
- Поддержка или ключевой вкладчик в фундаментальный фреймворк инференса, ядра или RL (vLLM, SGLang, TensorRT-LLM, LMCache, FlashInfer, Triton, verl, OpenRLHF, TRL, DeepSpeed, Megatron-LM и др.)
- Глубокий практический опыт в RL для LLM (методы типа DPO/GRPO, моделирование награды, многошаговый и инструментальный RL) и взаимодействие между инференсом и инфраструктурой тренировки
- Опыт определения платформ API для разработчиков, принятых в масштабе внешними разработчиками
- Глубокий опыт архитектуры управляющей и пользовательской плоскостей и паттернов развертывания на основе ячеек в крупномасштабной инфраструктуре инференса
- Публикации в области AI-систем: MLSys, NeurIPS Systems Track, OSDI, EuroSys, SC или эквивалентные
- Опыт совместного проектирования аппаратного и программного обеспечения: кастомные ядра ускорителей (CUDA, Triton), оптимизация на уровне компилятора, участие в дорожной карте AI-аппаратуры
- Опыт определения моделей ценообразования, SLO и ёмкости для коммерческого продукта инференса
Ниже приведён диапазон базовой зарплаты для данной позиции. Фактическое вознаграждение может варьироваться в зависимости от факторов, связанных с работой, таких как навыки, опыт, образование и местоположение. Помимо базовой зарплаты, эта роль может иметь право на бонусы, акции и/или комиссионные программы. Nscale может предложить конкурентоспособный пакет льгот, включая медицинское, стоматологическое, офтальмологическое страхование, гибкий оплачиваемый отпуск, декретный отпуск и участие в пенсионном плане.
Диапазон зарплаты
$290,000—$520,000 USDДля информации о том, как Nscale обрабатывает персональные данные кандидатов, пожалуйста, ознакомьтесь с нашим Уведомлением о конфиденциальности сотрудников и кандидатов: Здесь.
Nscale не принимает непрошеные резюме от рекрутинговых агентств.