QA-инженер (тестирование AI/ML)

Мы создаём программно-аппаратные комплексы (ПАК) Скала^р, а также строим и защищаем от киберугроз инфраструктуру, обеспечивая бесперебойную работу крупного бизнеса и государственного сектора.

• в рейтинге крупнейших поставщиков российских ПАК*

• Rubytech — один из крупнейших ИТ‑поставщиков в банковском секторе**

• среди лучших российских производителей вычислительной техники***

Группа Rubytech — лидирующий производитель программно-аппаратных комплексов и разработчик технологий для высоконагруженных ИТ-инфраструктур. Мы выпускаем собственную линейку ПАК Скала^р, а также строим и защищаем от киберугроз инфраструктуру, обеспечивая бесперебойную работу крупного бизнеса и государственных организаций.

Вам предстоит:

• Тестирования AI/ML-компонентов и сервисов;
• Проверка качества моделей и корректности вывода;
• Работа с фреймворками: LangChain, LlamaIndex, RAGAS, Langfuse;
• Тестирование агентских систем: проверка циклов (отсутствие зацикливания), корректность вызова инструментов, graceful degradation при ошибках;
• Настраивать тестовые датасеты с разнообразными сценариями (включая edge cases: сленг, опечатки, отрицания, длинные контексты);
• Создавать и поддерживать золотых датасетов (golden answers) для автоматической сверки;
• Вести тест-кейсы и чек-листы для регрессионного тестирования при смене модели или промпта;
• Тестировать RAG-пайплайны: качество retrieval (Hit Rate, MRR, NDCG@K), релевантность ответов, groundedness;
• A/B-тестирование промптов и моделей (включая сравнение разных LLM);
• Нагрузочное тестирование LLM-сервисов: измерение TTFT (time to first token), TPOT (time per output token), latency, throughput (инструменты: Locust, k6);
• Версионирование тестовых данных и датасетов (DVC или аналоги) для воспроизводимости тестов;
• CI/CD для ML: автоматический запуск тестов при изменении промпта, модели или коннектора;
• Мониторинг качества в продуктивном контуре: отслеживание дрифта метрик, аномалий в ответах, деградации retrieval.

Требования к нашему кандидату:

• Опыт тестирования AI/ML-компонентов и сервисов;
• Опыт работы с фреймворками: LangChain, LlamaIndex, RAGAS, Langfuse;
• Опыт тестирования RAG-пайплайнов: качество retrieval (Hit Rate, MRR, NDCG@K), релевантность ответов, groundedness;
• Знание Python, SQL, REST API;
• Знание метрик оценки LLM;
• Понимание принципов работы агентских систем, MCP.

Желательно:

• Опыт работы с Postman, Selenium, PyTest;
• Оценка экономической эффективности: контроль token usage, cost per request, API-лимитов;
• Понимание интеграционного тестирования: коннекторы к Active Directory, MS SharePoint, Confluence, мессенджерам и пр.;
• Навыки тестирования ИБ: prompt injection, jailbreak-атаки, проверка утечки PII (паспорта, телефоны), data leakage системных промптов.

Что мы предлагаем:

• Уютный, комфортный и современный офис в пешей доступности от м. Алексеевская, где есть все необходимое для работы и даже больше: дежурный врач, кафе и столовая, кофе и фрукты, фитнес-центр, коворкинг и многое другое.
• Стабильный и «белый» конкурентный доход, который мы обсудим при встрече;
• Удобный график — гибрид или офис (в зависимости от подразделения);
• Работа в аккредитованной ИТ-компании из реестра Минцифры (отсрочка от мобилизации);
• Профессиональный рост, обучение и развитие, участие в проекте «Лекторий Rubytech»;
• Развитые спортивные комьюнити: футбол, волейбол, баскетбол и шахматы;
• ДМС для вас и вашей семьи на особых условиях;
• Тимбилдинги, митапы и другие корпоративные мероприятия;
• Скидки у 500+ партнеров (платформы BestBenefits и Lerna).

Ждем вас в нашей команде!

Делаем уникальные инфраструктурные проекты

За нашими плечами: ЦОД для ФНС, ускорение обработки данных ВТБ в 2 раза, суверенная ИТ-инфраструктура Газпромбанка на базе ПАК Скала^р и другие проекты.

Живем ярко

Вместе отмечаем Новый год, Дни весны, танцуем ночь на пролёт на дне
рождении компании, отдыхаем с детьми на Familyday, любим общаться вне работы — у нас много внутренних сообществ.

Растем и развиваемся вместе

Прямой доступ к крупнейшей в стране команде экспертов по высоконагруженным инфраструктурам.

Даём опору и стабильность

Предлагаем конкурентный доход и комфортные условия труда — в офисе есть уютные кофепойнты, собственный спортзал, удобные переговорки, учебный класс и комната отдыха.

Заботимся о здоровье

Предоставляем ДМС со стоматологией, онкострахование для сотрудников и их близких, онлайн-консультации с психологом, трэвел-страховку, скидку на чекапы и врача в офисе.

Всегда в движении

Мы участвуем в RUNIT и Осенний Grom, футбольная команда, волейбольные, баскетбольные, киберспортивные клубы регулярно занимают призовые места в корпоративных турнирах. Сидеть спокойно — не про нас:)

* по версии CNews, 2024, ** Скала^р (продукт Группы Rubytech) — модульная платформа для построения корпоративной ИТ-инфраструктуры, по версии TAdvisor, 2024, *** по версии TADviser, 2024

В зависимости от наличия вакансий работа может быть предложена в ООО «Рубитех», ООО «СКАЛА-Р», ООО «Центр Цифровых Технологий», ООО «РБТ СЕРВИС» или ПАО «Группа Рубитех».