Обзор:

SOFTSWISS нанимает разработчика программного обеспечения для тестирования, чтобы присоединиться к нашей команде. Мы ищем специалиста по обеспечению качества с акцентом на автоматизацию и сильными навыками Python, который поможет создавать надежную автоматизацию тестирования, улучшать качество продукта и вносить вклад в оценку качества систем на базе ИИ и больших языковых моделей (LLM).

Цель роли:

Вы будете отвечать за определение подходов к тестированию, разработку и поддержку автоматизированных тестов на Python, а также создание решений для оценки качества ИИ-систем. Роль сочетает в себе автоматизацию тестирования backend/API, разработку тестовых фреймворков, улучшения CI/CD и оценку качества ИИ, включая RAG, агентские рабочие процессы, MCP-серверы, поведение вызова инструментов, регрессионные проверки и наблюдаемость LLM.

Основные обязанности:

Анализировать требования и определять подход к тестированию новых функций и изменений продукта

Автоматизировать тестовые случаи с использованием существующего фреймворка на основе Python и PyTest

Создавать автоматизированные конвейеры оценки качества для ИИ-систем с использованием метрик и подходов LLM-as-judge

Тестировать MCP-серверы, схемы инструментов и поведение вызова инструментов, включая крайние случаи и недопустимые аргументы

Оценивать агентские рабочие процессы, включая выбор инструментов, многошаговое рассуждение, обработку ошибок, восстановление циклов и корректность состояния

Поддерживать и улучшать фреймворк автоматизации тестирования и вносить вклад во внутренние инструменты тестирования, включая моки

Готовить и поддерживать документацию по тестированию, включая контрольные списки, тестовые случаи и отчеты о качестве

Участвовать в проектировании тестов, оценках, тестировании релизов и оценке качества продукта

Вносить вклад в улучшение процессов CI/CD и QA

Проектировать и поддерживать наборы оценок и эталонные датасеты для RAG и агентских потоков

Проводить противодействующее тестирование ИИ-систем, включая инъекции подсказок, jailbreak, неправильное использование инструментов и риски утечки данных

Настраивать регрессионные проверки для изменений в подсказках, моделях, настройках поиска и стратегиях разбиения на части

Отслеживать качество ИИ-систем вместе с затратами, задержками и использованием токенов

Использовать инструменты трассировки и наблюдаемости для отладки, измерения и улучшения поведения приложений LLM

Требуемый опыт:

Более 5 лет опыта в области обеспечения качества, включая как ручное, так и автоматизированное тестирование

Твердое понимание принципов QA, проектирования тестов, покрытия тестами, тестовой пирамиды и жизненного цикла разработки ПО (SDLC)

Опыт работы с фреймворками автоматизации тестирования на Python, такими как PyTest, Behave или аналогичными

Опыт работы с CI/CD и инструментами мониторинга или оповещения, такими как Datadog, ELK, Sentry или аналогичными

Интерес к тестированию систем на базе ИИ/LLM. Практический опыт приветствуется, но мы также открыты для кандидатов, которые быстро учатся и хотят развиваться в этой области

Знакомство с RAG, оценкой LLM и метриками качества, такими как обоснованность, достоверность, релевантность ответа и качество поиска

Опыт или интерес к инструментам оценки ИИ, таким как RAGAS, DeepEval, promptfoo, LangSmith Eval, TruLens, Arize Phoenix или аналогичными

Понимание особенностей тестирования недетерминированных систем, где может не быть единственно правильного результата

Знакомство с LangChain, LangGraph, MCP, векторными базами данных, семантическим поиском или инструментами наблюдаемости LLM будет большим плюсом

Хорошие навыки устного и письменного английского языка (уровень B2 или выше)

Желательно иметь:

Опыт нагрузочного, стрессового или производительного тестирования

Опыт работы с Kubernetes

Опыт в prompt engineering (создание и оптимизация подсказок)

Опыт тестирования безопасности ИИ, ответственного ИИ или защитных механизмов (guardrails)

Опыт подготовки оценочных датасетов, разметки или аннотирования данных

Опыт тестирования аутентификации через Keycloak или OIDC

Основные преимущества

Частное медицинское страхование

Спортивные льготы

Комплексная программа психического здоровья

Бесплатные уроки английского языка (онлайн)

Курсы местных языков

Оплачиваемый отпуск

Поддержка в период декретного отпуска

Вознаграждения по программе рекомендаций

Повышение квалификации, внутренние мастер-классы и участие в профессиональных конференциях и корпоративных мероприятиях

Коммуникация по вопросам найма в SOFTSWISS ведется только через официальные каналы компании. Мы никогда не просим кандидатов производить платежи, покупать оборудование, делиться финансовыми данными или переводить деньги в рамках процесса найма. Если вы получили подозрительное сообщение с использованием имени SOFTSWISS, пожалуйста, проверьте его через [email protected]