Инженер по машинному обучению, поиск и генерация на основе данных

О нас

Red Cell Partners — это инкубационная компания, создающая и инвестирующая в быстро масштабируемые технологические компании, которые выводят на рынок революционные инновации в трех различных областях: здравоохранение, кибербезопасность и национальная безопасность. Объединенные общим чувством долга и глубокой верой в силу инноваций, Red Cell разрабатывает мощные инструменты и решения для решения самых насущных проблем нашей страны.

О DEFCON AI

УСТОЙЧИВОСТЬ ПРИ СТОЛКНОВЕНИИ С РАЗРУШЕНИЯМИ. DEFCON AI — это компания, предоставляющая аналитические данные, которая использует искусственный интеллект, математическую оптимизацию, анализ данных и программную инженерию для устойчивой оптимизации сложных систем.
В современном динамично меняющемся мире технологии DEFCON AI согласуют результаты с операционными целями, улучшают принятие решений и дают клиентам возможность предвидеть, оценивать и смягчать последствия сбоев.

О роли

В качестве инженера по обеспечению качества (QA Engineer) вы будете отвечать за качество системы поддержки принятия решений с использованием ИИ: план тестирования, автоматизированное покрытие и доказательства того, что поставленное соответствует спецификации. Продукт определяет критерии приемки. Вы создаете исполняемую версию этих критериев и требуете от инженерной команды, платформы и всех остальных, кто выполняет работу, соблюдения этих критериев.

Эта роль находится на стороне продукта в организации, а не на стороне инженерии. Вы будете подчиняться руководителю продукта и получать указания от продуктовой команды, при этом ежедневно взаимодействовать с инженерной и платформенной командами. Тестировщик, встроенный в инженерную команду, как правило, проверяет то, что было построено, поскольку видит реализацию. Эта роль проверяет то, что было задано в спецификации. Тестовый набор, написанный на основе кода, может проходить, при этом не охватывая то, что запросил заказчик.

Эта линия подчинения не снижает инженерный уровень. Вы будете писать код и создавать настоящую автоматизацию, а не просто управлять тест-кейсами, и вам потребуется достаточное понимание кода приложения для качественного тестирования. Как первый инженер по качеству, вы устанавливаете подход, а не наследуете его, поэтому мы ищем человека с четкой точкой зрения на то, как должно работать тестирование. Мы используем современные инструменты и ожидаем того же, включая помощь ИИ в нашей инженерной практике.

Это полностью удаленная позиция с редкими командировками (до 25%) в штаб-квартиру DEFCON AI, на объекты клиентов и поставщиков по мере необходимости.

Основные обязанности 

Стратегия тестирования и критерии приемки

• Отвечать за системный план тестирования, охватывающий функциональное, интеграционное, производительное и нагрузочное тестирование, и поддерживать его как формальный документ
• Переводить критерии приемки, установленные продуктом, в исполняемые тесты
• Обсуждать критерии приемки с продуктовой командой до начала разработки и выявлять требования, которые являются неоднозначными или не поддаются проверке в текущем виде
• Требовать от инженерной, платформенной и партнерских команд соблюдения критериев приемки и определять, какие доказательства должны существовать до того, как изменение будет считаться завершенным
• Работать вместе с инженерной командой ежедневно, быть достаточно близко, чтобы хорошо тестировать их работу, и достаточно независимо, чтобы сообщать о результатах тестирования
• Планировать и координировать пользовательское приемочное тестирование с заказчиком и отслеживать выявленные проблемы до их решения

Автоматизация тестирования и покрытие

• Создавать и поддерживать автоматизированные тестовые наборы и интегрировать их в CI/CD-пайплайн в качестве контрольных точек выпуска
• Устанавливать и поддерживать стандарт автоматизированного покрытия и отчитываться по нему
• Создавать производительные и нагрузочные тесты, которые проверяют систему при ожидаемой пользовательской нагрузке
• Поддерживать регрессионное покрытие между выпусками

Измерения и доказательства

• Создавать и поддерживать размеченные наборы для оценки, работая с экспертами, чье время ограничено
• Проектировать и проводить выборочные аудиты, подтверждающие правильность автоматизированных решений
• Измерять и отчитываться о том, что система пропускает, наряду с тем, что она выполняет правильно
• Измерять, как часто пользователи переопределяют систему, и сообщать о тенденциях
• Документировать, как вычисляется каждая зафиксированная метрика, на каких данных и какие доказательства сопровождают выпуск
• Создавать эти доказательства независимо от людей, создающих модели

Управление релизами

• Поддерживать учет версий по сборкам, моделям, конфигурациям и порогам
• Готовить отчеты по тестированию, записи оценок и критерии отката для каждого релиза
• Работать с платформенной инженерией, чтобы убедиться, что тестовые среды достаточно близки к производственной для получения значимых результатов
• Контролировать выпуск: ни один релиз не выходит без необходимых доказательств приемки

Требуемые квалификации

• 5+ лет опыта в области обеспечения качества программного обеспечения, автоматизации тестирования или программной инженерии с существенной ответственностью за тестирование
• Четкая точка зрения на то, как должно проводиться тестирование и умение определить, какие практики стоит поддерживать. Вы будете устанавливать стандарт, а не следовать ему
• Сильные навыки программирования на языке и в рамках, используемых для автоматизации тестирования, например Python с pytest, или JavaScript/TypeScript с Playwright, Cypress или Selenium. Большая часть стека написана на Python. Вы также должны уметь читать и анализировать код тестируемого приложения
• Регулярное использование разработки с поддержкой ИИ с осознанным пониманием, где она добавляет ценность, а где требует проверки результатов. Мы ожидаем, что инструменты ИИ будут частью процесса построения покрытия тестов, а не случайным экспериментом
• Опыт создания автоматизированных тестовых наборов и интеграции их в CI/CD в качестве контрольных точек выпуска
• Опыт ведения плана тестирования через этапы обзора и приемки
• Привычка тестировать по требованиям, а не по реализации, включая работу напрямую с владельцами продукта или конечными пользователями для определения, что значит «правильно»
• Опыт производительного и нагрузочного тестирования, включая понимание того, что показывает и не показывает результат
• Рабочая статистическая грамотность, включая проектирование выборок и уровень доверия к измерениям
• Опыт измерения того, что система пропускает, а не только того, что она выполняет правильно
• Готовность сообщать о результатах, которые команда не хотела бы услышать, и сохранять независимость измерений от людей, чья работа оценивается
• Способность контролировать работу людей, которые не подчиняются вам напрямую, и заслужить достаточно доверия у инженеров, чтобы контроль был эффективным
• Четкая, готовая к аудиту письменная документация, поскольку большая часть результатов этой роли — это доказательства, которые читают другие
• Готовность приостанавливать выпуск и объяснять причины тем, кто хочет его выпустить
• Требуется гражданство США
• Активный допуск к секретной информации США. Работа выполняется в контролируемой правительственной облачной среде и требует положительного расследования и права на CAC с самого начала
• Повышенные требования к безопасности применяются к частям этой работы и обсуждаются в процессе интервью
• Готовность к командировкам до 25% времени на объекты клиентов, штаб-квартиру DEFCON AI и объекты поставщиков по мере необходимости

Желательные квалификации

• Доступ: активный допуск уровня Top Secret
• Среда: правительственные DevSecOps, RMF или ATO среды и опыт подготовки доказательств тестирования для формальной аккредитации или аудита
• Автоматизация: контрактное и API тестирование, управление тестовыми данными и создание тестовой инфраструктуры, которую могут расширять другие
• Тестирование с поддержкой ИИ: использование языковых моделей для генерации и поддержки покрытия тестов, а также практики, которые делают сгенерированные тесты значимыми, а не просто проходящими
• Производительность: JMeter, k6, Locust или аналогичные инструменты
• Оценка: валидация машинного обучения или вывода моделей, включая проверку обоснованности и цитирования, а также анализ случаев, когда пользователи не согласились с рекомендацией системы
• Область: системы, где неправильный результат несет реальные издержки, и где тестирование должно было удовлетворять внешнего проверяющего, а не только внутреннего
• Управление: модельные карты, NIST AI RMF или аналогичные практики ответственного ИИ
• Доступность: проверка соответствия требованиям Section 508 и WCAG

Что означает успех

• План тестирования, который принимает заказчик и который выдерживает рост системы
• Критерии приемки, которые можно проверить до начала разработки
• Автоматизированное покрытие, соответствующее стандарту и работающие как контрольная точка выпуска
• Выборочные аудиты, предназначенные для выявления неправильных автоматизированных решений
• Доказательства производительности, отражающие реалистичную нагрузку
• Полный след релизов, позволяющий восстановить причины выпуска любой версии

Что мы предлагаем: 

• Полностью удаленная, ориентированная на результат среда
• Конкурентоспособная зарплата, бонусы и пакет акций
• 100% оплачиваемая работодателем комплексная медицинская страховка, включая медицинское обслуживание, стоматологию и офтальмологию для вас и вашей семьи
• Неограниченный оплачиваемый отпуск с одобрения менеджера
• Гибкая рабочая среда, где вы сами управляете своим рабочим днем
• 14 недель полностью оплачиваемого отпуска по уходу за ребенком

Диапазон зарплаты: $135,000-$170,000. Это типичный диапазон зарплаты для данной позиции в зависимости от опыта, навыков и других факторов.

Наши преимущества в Red Cell Partners (могут отличаться для каждой инкубации):

Для штатных сотрудников

• Возможность карьерного роста с потенциалом быстрого продвижения при хороших результатах по мере роста компании 
• 100% оплачиваемое работодателем комплексное медицинское обслуживание, включая медицинское, стоматологическое и офтальмологическое для вас и вашей семьи.
• Оплачиваемый декретный и отцовский отпуск на 14 недель с сохранением обычной зарплаты.
• Неограниченный оплачиваемый отпуск с одобрения руководства.
• Возможности для профессионального развития и непрерывного обучения.
• Опциональные планы 401K, FSA и программы поощрения акциями.
• Психологическая поддержка доступна через Tara Mind. 
  
• Экономичные решения GLP-1 доступны через Crux. 

Мы являемся работодателем с равными возможностями: вы будете рассматриваться для трудоустройства без учета расы, пола, цвета кожи, религии, сексуальной ориентации, гендерной идентичности, национального происхождения, статуса защищенного ветерана или инвалидности.

Раскрытие данных заявителя   

Отправляя заявку, вы подтверждаете, что Red Cell Partners, LLC ("Red Cell") использует сторонних поставщиков услуг для облегчения процессов набора и найма персонала. Эти поставщики включают системы отслеживания заявок, платформы проверки кандидатов и инструменты обнаружения мошенничества (в совокупности "Платформы найма"). Ваши материалы заявки, включая резюме, сопроводительное письмо, образцы работ, ответы на вопросы заявки и любую другую информацию, которую вы предоставляете, могут быть переданы и обработаны этими Платформами найма для следующих целей:  

• Управление и администрирование вашей заявки на протяжении всего процесса найма; 

• Проверка точности и подлинности материалов заявки, включая сопоставление предоставленной вами информации с общедоступными источниками и собственными базами данных; 
• Выявление признаков потенциально мошеннического, сфабрикованного или существенно вводящего в заблуждение содержания заявки, включая, но не ограничиваясь, несоответствиями между предоставленными материалами и общедоступными профессиональными профилями, географическими аномалиями и сфабрикованной трудовой историей. 

Заявки, помеченные в ходе этого процесса как содержащие признаки мошенничества или существенного искажения, могут быть отклонены для дальнейшего рассмотрения. Если у вас есть вопросы о статусе вашей заявки или процессе оценки, пожалуйста, свяжитесь с talent@redcellpartners.com.  

Red Cell требует от своих поставщиков Платформ найма обрабатывать вашу информацию исключительно для вышеуказанных целей и в соответствии с применимым законодательством. Ваша информация будет храниться только столько, сколько необходимо для выполнения этих целей и любых применимых юридических обязательств, после чего будет удалена в соответствии с политикой хранения данных Red Cell.

Для получения дополнительной информации о том, как используются ваши данные, пожалуйста, ознакомьтесь с нашей Политикой конфиденциальности и Уведомлением о конфиденциальности заявителя.