Binance — ведущая глобальная блокчейн-экосистема, стоящая за крупнейшей в мире криптовалютной биржей по объему торгов и количеству зарегистрированных пользователей. Нам доверяют более 300 миллионов человек в более чем 100 странах благодаря нашей передовой в отрасли безопасности, прозрачности средств пользователей, скорости торгового движка, глубокой ликвидности и непревзойденному портфелю продуктов с цифровыми активами. Предложения Binance охватывают торговлю и финансы, образование, исследования, платежи, институциональные услуги и многое другое. Наша миссия — увеличить свободу денег и финансовый доступ для людей по всему миру.
О роли
В эпоху ИИ крупные языковые модели меняют ключевые бизнес-сценарии, такие как диалог и торговля. Итерация возможностей модели зависит от научной и надежной системы оценки — «линейки», которая измеряет качество модели и направляет направление исследований и разработок. Мы ищем эксперта по оценке с алгоритмическим опытом для создания возможностей оценки LLM, охватывающих диалог, финансовую торговлю и другие сценарии, используя профессиональные методы оценки для количественной оценки производительности модели, выявления проблем и стимулирования непрерывного улучшения модели.
Обязанности
- Разрабатывать комплексные планы оценки LLM для бизнес-сценариев, таких как диалог и финансовая торговля. Создавать системы метрик оценки и рубрики, преобразуя субъективные суждения о производительности модели в количественные, воспроизводимые и объяснимые выводы оценки.
- Возглавлять разработку и создание наборов данных для оценки. Определять измерения оценки и охват сценариев, устанавливать высококачественные руководства по аннотированию данных и процессы контроля качества, а также создавать эталонные тесты, которые достоверно отражают бизнес-потребности и обладают дискриминационной способностью.
- Анализировать границы возможностей модели и режимы сбоев на основе результатов оценки. Формулировать практические рекомендации по улучшению и сотрудничать с командами алгоритмов и продуктов для стимулирования итерации модели, делая оценку критически важной частью цикла исследований и разработок.
- Продвигать автоматизацию и масштабирование рабочих процессов оценки. Создавать устойчивые платформы и инструментарий для оценки, поддерживающие высокочастотные и стабильные потребности оценки в условиях быстрой итерации моделей.
- Сотрудничать с командами алгоритмов, продуктов и данных для перевода бизнес- и модельных целей в четкие стандарты оценки и превращать результаты оценки в конкретные направления исследований и разработок, а также обеспечивать их реализацию.
Требования
- Степень магистра или выше в области компьютерных наук, искусственного интеллекта, математики, статистики или смежных областях, с прочной алгоритмической базой и пониманием принципов LLM, процессов обучения и дообучения.
- Практический опыт оценки LLM в крупной технологической компании, участие в оценке коммерческого развертывания (не только академическое или офлайн-бенчмаркинг). Знакомство с полным циклом от подготовки данных для оценки и разработки рубрик до оценки, ориентированной на исследования и разработки.
- Знание основных методов оценки (человеческая оценка, автоматическая оценка на основе моделей / LLM в роли судьи, вычисление метрик) и их применимых границ. Способность определять подходящие измерения оценки для различных бизнес-сценариев и писать четкие, практичные и дискриминационные рубрики.
- Систематический контроль за репрезентативностью данных оценки, согласованностью аннотирования и надежностью результатов, обеспечивающий научные и надежные выводы оценки.
- Свободное владение Python, опыт автоматизации рабочих процессов оценки, создания эталонов или разработки платформ оценки. Способность самостоятельно обрабатывать данные, писать скрипты оценки и анализировать результаты.
- Сильное понимание бизнеса и коммуникативные навыки, способность переводить результаты оценки в четкие направления улучшения и эффективно стимулировать межкомандное сотрудничество.
Дополнительные преимущества
- Опыт оценки диалоговых систем, AI-агентов или финансовых/торговых LLM.
- Опыт создания высококачественных данных для обучения/оценки ИИ или систем аннотирования данных.
- Знакомство с RLHF, моделями вознаграждения или работой с данными предпочтений.
Почему Binance
- Формировать будущее финансов
- Сотрудничать с талантами мирового класса в ориентированной на пользователя глобальной организации с плоской структурой
- Решать сложные задачи в динамичной и инновационной среде с автономией
- Добиваться успеха в ориентированной на результат рабочей среде с возможностями карьерного роста и непрерывного обучения
- Конкурентоспособная зарплата и корпоративные льготы
- Удаленный формат работы с возможностью работы из дома (может варьироваться в зависимости от характера роли и команды)
Binance стремится быть работодателем, предоставляющим равные возможности. Мы считаем, что разнообразие сотрудников является основой нашего успеха.
Отправляя заявку на работу, вы подтверждаете, что ознакомились с нашим Уведомлением о конфиденциальности кандидата.
Мы можем использовать инструменты искусственного интеллекта (ИИ) для поддержки некоторых этапов процесса найма, таких как просмотр заявок, анализ резюме или оценка ответов и выявление потенциальных несоответствий или сигналов проверки в материалах заявки на основе доступной информации. Эти инструменты помогают нашей команде по подбору персонала, но не заменяют человеческое суждение. Окончательные решения о найме принимаются людьми. Если вы хотите получить дополнительную информацию о том, как обрабатываются ваши данные, пожалуйста, свяжитесь с нами.
