Старший дата-сайентист по оценке ИИ

Кто мы:

Alpaca — глобальный лидер в инфраструктуре брокерских услуг с приоритетом агентов, со штаб-квартирой в США: акции, ETF, опционы, криптовалюты, облигации, торговля 24/5 и многое другое.

Среди наших дочерних компаний Alpaca — лицензированная финансовая организация, обслуживающая сотни финансовых институтов в 40 странах с помощью API институционального уровня. Среди клиентов — брокер-дилеры, инвестиционные консультанты, управляющие капиталом, хедж-фонды и криптобиржи; в сумме более 10 миллионов брокерских счетов.

Наша глобальная команда — разнообразный коллектив опытных инженеров, трейдеров и специалистов брокерского дела, работающих над миссией открыть финансовые услуги для всех на планете. Мы глубоко привержены open-source и развитию активного сообщества, постоянно улучшая наш отмеченный наградами, удобный для разработчиков API и надёжную инфраструктуру за ним.

Alpaca с гордостью при поддержке $400 млн инвестиций от ведущих мировых инвесторов, включая Portage Ventures, Spark Capital, Tribe Capital, Social Leverage, Horizons Ventures, Opera Tech Ventures, SBI Group, Derayah Financial, Unbound, Peak XV, Elefund и Y Combinator.

Наша команда:

Мы — динамичная команда из более чем 400 человек по всему миру, работающих из любимых мест: США, Канада, Япония, Венгрия, Нигерия, Бразилия, Великобритания и не только!

Мы ищем увлечённых людей, готовых способствовать быстрому росту Alpaca. Если вам близки наши ценности — оставайтесь любознательными, проявляйте эмпатию и берите ответственность — и вы готовы оказать значимое влияние, мы приглашаем вас откликнуться.

Ваша роль: Мы ищем старшего специалиста по данным (Data Scientist), AI Evaluation, чтобы спроектировать, как Alpaca измеряет, насколько наши модели и агенты действительно правы. Вы будете старшим индивидуальным контрибьютором, который превращает неоднозначные вопросы качества в ground truth, методы скоринга и циклы оценки, которым компания может доверять, — и использует эти результаты для улучшения систем. Вы будете опираться на уже созданный фундамент данных, поэтому фокус — на повышении качества и ускорении безопасного внедрения. Вы будете отвечать за планку качества независимо от команд, которые создают и оптимизируют эти системы.

Эта роль для тех, кому не менее важно, верен ли ответ, чем то, может ли модель его сгенерировать. Вы будете работать с Product, Engineering, Analytics Engineering и бизнес-стейкхолдерами, чтобы определить, что такое «хорошо», построить оценки, которые это проверяют, и замкнуть цикл так, чтобы evals двигали итерации. Если у вас сильный количественный бэкграунд, вы внедряли строгую измеримую работу (оценка, эксперименты или валидация моделей) и хотите владеть greenfield-практикой eval в быстрорастущей компании брокерской инфраструктуры — это ваша роль.

Чем вы будете заниматься

• Проектирование AI-оценок: определение ground truth, метрик и методов скоринга для моделей и агентов.
• Построение повторяемых циклов eval: отслеживание качества во времени и выявление регрессий до релиза.
• Совместная работа над инфраструктурой: взаимодействие с engineering и analytics engineering для операционализации eval harnesses.
• Движение итераций: перевод результатов eval в практические рекомендации по улучшению систем.
• Установление стандартов качества: guidelines по оценке, документация и практики ревью.
• Менторство и выравнивание: развитие лучших практик оценки и культуры измеримого качества AI в команде.

Что мы ищем

• Опыт строгого количественного измерения (например, оценка LLM/моделей, валидация метрик или эксперименты).
• Сильная статистическая и ML-основа — вы относитесь к оценкам как к экспериментам (размер выборки, доверительные интервалы, значимость, работа с недетерминизмом) и валидируете автоматические грейдеры против человеческого ground truth.
• Владение Python и SQL, опыт оценки моделей в production.
• Сильное суждение при определении метрик качества и ground truth для неоднозначных выходов.
• Отличные коммуникация и навыки кросс-функционального сотрудничества для согласования технических команд и руководства.
• Сильные навыки решения задач в быстроменяющейся greenfield-среде.
• 6–10 лет в количественной data science или ML с фокусом на измерения или оценку. Количественное образование — плюс; эквивалентный отраслевой опыт также приветствуется.

Будет плюсом

• Практический опыт оценки LLM/агентов в production, включая eval harnesses, калибровку LLM-as-judge и CI regression gates.
• Опыт оценки text-to-SQL, analytics-агентов или других систем, где корректность проверяема по данным.
• Опыт в fintech, брокеридже или других доменах, где неверный ответ имеет реальные бизнес- или риск-последствия.
• Свободное владение AI-инструментами в исследовательских и инженерных процессах.

Как мы заботимся о вас:

• Конкурентная зарплата и опционы на акции
• Медицинское страхование
• Оборудование для домашнего офиса новому сотруднику: единовременно USD $500
• Ежемесячная надбавка: USD $150 в месяц на карту Brex

Alpaca с гордостью является работодателем, предоставляющим равные возможности, и стремится нанимать разнообразную команду.

Политика конфиденциальности при найме