Обязанности:
Тестирование ML-модели:
Проверка точности, полноты и recall модели на различных наборах данных.
Анализ метрик качества (accuracy, precision, recall, F1-score, AUC-ROC и др.) и понимание, что каждая из них означает в контексте конкретной задачи.
Проведение A/B тестов разных версий моделей.
Смещение (Bias) и Дисперсия (Variance): Умение распознавать случаи переобучения (overfitting) и недообучения (underfitting).
Тестирование на смещенных данных (Bias & Fairness): поиск сценариев, где модель работает несправедливо по отношению к определенным группам (например, по полу, возрасту, расе).
Тестирование данных (Data Testing):
Проверка качества входных данных: их полноты, консистентности, корректности форматов.
Валидация данных, используемых для обучения и валидации модели.
Тестирование функциональности AI-фич:
Проверка корректности и уместности ответов, работы с контекстом.
Проверка релевантности выданных рекомендаций.
Работа с "Пограничными случаями" (Edge Cases) и "Составлением яда" (Data Poisoning):
Целенаправленный поиск и создание входных данных, которые могут сломать или обмануть модель (adversarial examples).
Тестирование модели на данных, сильно отличающихся от обучающей выборки (out-of-distribution data).
Функциональное тестирование
Базовые знания:
Разработка и поддержка тест-кейсов, чек-листов, тест-планов.
Активное использование техник тест-дизайна для покрытия функциональности.
Качественное оформление баг-репортов с четкими шагами воспроизведения, логами, скриншотами.
Умение декомпозировать сложную проблему на составляющие.
Анализ корневых причин (Root Cause Analysis)
Технические навыки:
Умение работать с системами баг-трекинга (Jira, Bugzilla, Redmine)
Уверенное написание SQL запросов: SELECT, WHERE, JOIN (как минимум INNER и LEFT), GROUP BY, ORDER BY
Инструменты: опыт работы с инструментами тестирования и БД (Postman, Swagger, Kafka, ELK, DevTools, PostgreSQL, MySQL, SQL Server.)
Знание форматов данных: JSON, XML.
Понимание типов API: REST (обязательно), знакомство с GraphQL (будет плюсом).
Базовое понимание одного из языков программирования (Java или JavaScript/Python). Умение прочитать и понять чужой код.
Личные качества:
Внимательность, аналитическое мышление, умение работать в команде
Самостоятельное планирование
Принятие решений
Инициатива
Английский язык: технический уровень для работы с документацией
График работы: полный рабочий день, 5/2
Формат работы: удаленная работа
Зарплата: до 180 000 рублей (в зависимости от уровня)
Бонусы: премии за успешное выполнение проектов
Обучение: возможность профессионального роста и обучения
Карьерный рост: перспективы развития до Senior QA Engineer или автоматизатора
Соцпакет: оплачиваемый отпуск и больничный
Дополнительно: корпоративные мероприятия, тимбилдинги, печеньки
