QA (Auto Python)
05 марта 2026 • г Москвы • ПАО Сбербанк • IT: Тестирование (QA)
Откликнуться на вакансию
Фамилия
Имя
Email
Телефон
Прикрепить резюме (pdf, docx)
Я даю согласие на обработку персональных данных
Ждем именно тебя!
Мы – команда ИИ-сценариев и комплексных решений — создаем с «нуля» комплекс решений для применения AI агентов во всех процессах взаимодействия с клиентом.
Обязанности
- Разрабатывать и поддерживать тесты для ИИ-агентов (чат-агенты, автономные ассистенты, multi-agent системы).
- Писать специализированных «агентов-проверяющих» на Python — программных ассистентов, которые тестируют поведение, логику и безопасность других ИИ-агентов.
- Проектировать сценарии для проверки корректности, согласованности, устойчивости к манипуляциям и соблюдению инструкций.
- Анализировать логи взаимодействий, выявлять edge-кейсы и системные риски.
- Участвовать в формировании стратегии обеспечения качества для генеративных ИИ-систем.
Требования
- Опыт автоматизированного тестирования на Python (pytest, requests, asyncio и др.).
- Уверенное владение основами тестирования: жизненный цикл ПО, виды тестирования (функциональное, регрессионное, интеграционное и др.), методологии (Agile/Scrum), метрики качества.
- Навыки построения и актуализации тестовых моделей (например, на основе требований, user stories или архитектурных диаграмм) для выявления ключевых сценариев и рисков.
- Понимание принципов работы LLM и ИИ-агентов (промпты, инструменты, память, цепочки рассуждений).
- Умение проектировать сложные тестовые сценарии для нетривиальных систем.
- Опыт валидации поведения систем без четкого «правильного ответа» (open-ended output).
Будет большим плюсом:
- Знание и практическое применение подхода LLM-as-a-Judge для оценки качества ответов агентов.
- Опыт использования LLM в качестве инструмента анализа или оценки.
- Участие в тестировании RAG-систем, multi-agent окружений или агентов с внешними инструментами.
Условия
- Конкурентная заработная плата (оклад + годовые премии);
- Социальный пакет (ДМС, страхование от несчастных случаев, льготное кредитование);
- Возможность обучения и сертификации за счет компании (Coursera и своя виртуальная школа);
- Материальная помощь при наступлении значимых событий в жизни;
- Дисконт-программы от компаний партнеров (фитнес, страхование, туризм);
- Офис/гибридный формат на Кутузовской, с зонами отдыха и спортзалом;
- Подарки и мероприятия для детей сотрудников. Оздоровительные программы для детей сотрудников;
- Возможность принять участие в других крупных и уникальных проектах банка.
