Member of Technical Staff (Search Core, Indexing & Data Pipeline Stream)

Perplexity ищет высококвалифицированного инженера по экспертным системам для команды Search Core — направление индексирования и обработки данных. Эта роль критически важна для создания поисковых продуктов и технологий нового поколения. Вы будете участвовать в ключевых решениях по архитектуре, проектированию и реализации базовых компонентов нашего технического стека.

Обязанности

• Проектировать и создавать ключевые компоненты поисковой системы, в особенности конвейеры индексирования и форматы хранения данных, работающие на масштабе миллиардов страниц

• Разрабатывать потоковую и пакетную обработку данных с системами YT для построения поискового индекса в среде с высокой нагрузкой

• Выжимать максимум из аппаратной производительности за счёт низкоуровневых оптимизаций и настройки на уровне системы

• Решать задачи многопоточности, параллелизма и оптимизации на системном уровне

• Проектировать и создавать ключевые компоненты поисковой системы, включая конвейеры индексирования, алгоритмы извлечения и системы ранжирования, работающие на масштабе миллиардов страниц

• Разрабатывать системы потоковой и пакетной обработки данных для построения поискового индекса в среде с высокой нагрузкой

• Выжимать максимум из аппаратной производительности за счёт низкоуровневых оптимизаций и настройки на уровне системы

• Решать задачи многопоточности, параллелизма и оптимизации на системном уровне

Требования

• 3+ года практического опыта системного программирования (Rust, C++, C или аналоги)

• Ответственность за полный жизненный цикл проекта — вы не просто пишете быстрый внутренний цикл, а заботитесь о том, как система строится, развёртывается, эксплуатируется и масштабируется в production

• Знание Python или других скриптовых языков

• Знание систем обработки данных (YT/Kafka/Hadoop)

• Стремление писать чистый, эффективный и масштабируемый код на системном уровне

• Глубокие знания алгоритмов и структур данных и умение эффективно их применять

• Глубокое понимание многопоточности, включая различные подходы, сложности и компромиссы

• Опыт создания высоконагруженных распределённых сервисов и сервисов, тесно связанных с аппаратурой

• Уверенное понимание внутреннего устройства Linux (syscalls, сетевой стек, модель памяти, настройка ядра)

• Знакомство с техниками низкоуровневой оптимизации (управление памятью, эффективность кэша, SIMD, профилирование)

Желательные требования

• Опыт разработки ключевых компонентов поисковых систем, баз данных или систем информационного поиска

• Понимание основ поиска: индексирование, разбор запросов, ранжирование и релевантность

• Опыт работы с торговыми системами или другими системами реального времени, чувствительными к задержкам

• Знакомство с облачными сервисами, Kubernetes и инфраструктурой AWS