AI-инженер по разработке и тестированию GenAI-решений

О компании

Внутренняя AI-R&D лаборатория технологической компании занимается созданием и тестированием AI-агентов и ассистентов для превращения бизнес-гипотез в работающие продукты.

Задачи

• Выстраивать процессы разработки и тестирования GenAI-решений, внедрять подход Evaluation-Driven Development.
• Создавать инструменты для массового тестирования LLM, AI-агентов и ассистентов.
• Разрабатывать бенчмарки и метрики для оценки качества AI-моделей и готовых решений.
• Проектировать сценарии тестирования, валидационные пайплайны и механизмы проверки ответов моделей.
• Анализировать поведение LLM, выявлять ошибки и нестабильные результаты, улучшать качество AI-решений.

Что важно

• Уверенно владеть Replit и иметь практический опыт создания AI-решений.
• Иметь опыт работы с LLM API, AI-агентами, ассистентами или другими GenAI-продуктами.
• Понимать принципы оценки качества LLM и уметь системно тестировать результаты работы моделей.
• Навыки написания системных промптов, работы с контекстом и структурированными ответами.
• Уметь самостоятельно находить технические решения, проверять гипотезы и доводить задачи до результата.
• Будет плюсом: опыт разработки на Python, создания API и интеграции AI-сервисов.
• Будет плюсом: знание LangChain, LangGraph, RAG и подходов к созданию AI-агентов.

Стек или инструменты

Replit · LLM API · Python · LangChain · LangGraph · RAG

Условия

Уровень дохода обсуждается на первом звонке.

Как проходит отбор

Отклик → звонок рекрутера Zenyxe → встреча с командой → решение.