Старший разработчик искусственного интеллекта

В ClickUp мы создаём будущее работы: первое по-настоящему объединённое AI-пространство, которое интегрирует задачи, документы, чат, календарь и корпоративный поиск, всё это усилено контекстно-ориентированным искусственным интеллектом. Мы — компания, изначально ориентированная на AI. От каждого члена команды ожидается ежедневное использование AI, и мы оцениваем владение AI как часть нашего процесса найма. Присоединяйтесь к нам и помогите переопределить возможное. 🚀

Мы ищем высококвалифицированного и опытного старшего инженера по AI, который присоединится к нашей инженерной команде ClickUp с фокусом на оценке AI. Вы будете отвечать за то, как мы измеряем и улучшаем качество AI в ClickUp: создание систем оценки, которые показывают, насколько хорошо работает наш AI, основного агента и AI, который хорошо проявляет себя в этих оценках. Вы будете работать над бэкенд-системами, которые делают возможности на базе AI масштабируемыми, надёжными и безопасными, а также непосредственно взаимодействовать с крупными языковыми моделями (LLM), чтобы решать реальные задачи пользователей и стимулировать инновации продукта.

Основные обязанности:

• Проектировать, создавать и владеть системой оценки AI ClickUp, включая золотые наборы данных, LLM в роли судьи и автоматические оценщики, обнаружение регрессий и отслеживание качества по всем AI-функциям.

• Создавать и развивать основной агентский каркас и AI, который хорошо показывает себя в этих оценках, тесно сотрудничая с командами продукта и инженерии для определения критериев «отличного» результата.

• Создавать циклы самоулучшения, в которых агенты модифицируют других агентов или подсказки, повторно запускают оценки и автоматически итеративно улучшаются.

• Проводить бенчмаркинг новых моделей по мере их выпуска и отвечать за выбор модели, маршрутизацию и стратегии резервного переключения между провайдерами (например, OpenAI, Anthropic, Google, открытые модели), балансируя качество, задержку и стоимость.

• Архитектурно проектировать и реализовывать масштабируемые сервисы AI-платформы, поддерживающие развертывание, оркестрацию и управление жизненным циклом LLM и других AI-моделей.

• Создавать и поддерживать надёжные API и бэкенд-системы, интегрирующие AI-функции в основную платформу ClickUp.

• Разрабатывать инфраструктуру для обслуживания моделей, мониторинга, логирования и автоматической оценки, чтобы обеспечить высокую надёжность и производительность AI-сервисов в продакшене.

• Продвигать лучшие практики в области конфиденциальности, безопасности и соответствия AI, включая анонимизацию данных, безопасную обработку данных и соблюдение нормативных требований.

• Сотрудничать с командами продукта, фронтенда и данных для создания бесшовного, надёжного и ориентированного на пользователя AI-опыта.

Требования:

• Опыт разработки программного обеспечения не менее 5 лет, включая 2+ года создания производственных систем на базе LLM или ML.

• Практический опыт создания систем оценки LLM в продакшене (золотые наборы данных, LLM в роли судьи, калибровка судьи, офлайн и онлайн оценки), связанных с реальным качеством продукта.

• Сильные навыки проектирования экспериментов и статистической строгости, включая A/B тестирование, офлайн и онлайн метрики, а также умение отличать реальные регрессии от шумных или переменных результатов.

• Подтверждённый опыт применения LLM и AI-моделей в реальных продуктах, ориентированных на клиентов.

• Опыт интеграции и управления несколькими LLM, включая бенчмаркинг, маршрутизацию и балансировку стоимости/задержки/качества.

• Глубокие знания бэкенд-разработки, распределённых систем и облачных технологий (например, Kubernetes, Docker, AWS/GCP/Azure).

• Сильные навыки программирования на Python (предпочтительно), Go, TypeScript или аналогичных языках, используемых для разработки бэкенда и AI-платформ.

• Опыт работы с фреймворками оркестрации и движками рабочих процессов (например, LangGraph, Airflow, Ray или аналогичными).

• Знакомство с технологиями поиска и извлечения информации и их интеграцией в AI-приложения.

• Отличные навыки сотрудничества и коммуникации, подтверждённый опыт эффективной работы в кросс-функциональных командах.

• Страсть к тому, чтобы оставаться на переднем крае AI и применять новые технологии для решения реальных задач в масштабе.

Желательно:

• Опыт в области науки о данных, прикладной науки или инженерии машинного обучения.

• Опыт работы с инструментами оценки (например, Braintrust, LangSmith, Weave, Arize или внутренними фреймворками).

• Опыт с маршрутизацией моделей, AI-шлюзами или оптимизацией инференса.

#LI-REMOTE

#LI-AK2
#LI-CC1

Работодатель, предоставляющий равные возможности

ClickUp является работодателем, предоставляющим равные возможности, и квалифицированные кандидаты будут рассматриваться для трудоустройства без учёта расы, цвета кожи, религии, пола, сексуальной ориентации, гендерной идентичности или национального происхождения.

Уведомление о конфиденциальности

ClickUp собирает и обрабатывает персональные данные в соответствии с применимыми законами о защите данных. Дополнительную информацию можно найти в нашем Глобальном уведомлении о конфиденциальности кандидатов.

Если вы соискатель из Филиппин, пожалуйста, ознакомьтесь также с нашим Уведомлением о конфиденциальности данных Филиппин для получения дополнительной информации.

Спонсорство визы

Обратите внимание, что в настоящее время мы не можем спонсировать или принимать на себя спонсорство рабочей визы для ролей вне инженерии и продукта. Спонсорство для инженерных и продуктовых ролей не гарантируется и зависит от бизнес-потребностей конкретной роли в данный момент. Пожалуйста, обращайтесь к рекрутеру с любыми вопросами.

Предупреждение о мошенничестве

Отдел по привлечению талантов ClickUp будет связываться только через электронную почту с доменом @clickup.com или через наш официальный портал карьеры на clickup.com. Мы никогда не будем запрашивать оплату, платежи или конфиденциальную личную информацию. Пожалуйста, игнорируйте любые предложения, полученные вне этих каналов, и сообщайте о них на support@clickup.com.

Уведомление об обработке AI

ClickUp может использовать технологии искусственного интеллекта и машинного обучения для помощи в рассмотрении и отборе заявок кандидатов на соответствие требованиям роли. Эти инструменты поддерживают, но не заменяют, человеческое принятие решений. Если у вас есть вопросы или вам нужна помощь в процессе найма, пожалуйста, свяжитесь с нами по адресу AskPeople@ClickUp.com.