Мы развиваем распределённую систему сбора и обработки данных с высокой нагрузкой.
Это инженерно сложный продукт: масштабирование, устойчивость, антибот-защиты, работа с ограничениями и нестабильными источниками данных.
Ищем инженера уровня Lead / Architect, который уже имеет опыт построения подобных систем и готов брать на себя архитектуру и ключевые технические решения.
— Проектировать архитектуру распределённой системы сбора данных
— Принимать ключевые технические решения (антибот, прокси, масштабирование)
— Строить и развивать устойчивые data pipeline (сбор → обработка → хранение)
— Оптимизировать систему под высокую нагрузку и рост объёмов данных
— Развивать подходы к отказоустойчивости, качеству и стабильности данных
— Формировать технические стандарты и best practices в команде
— Участвовать в развитии инфраструктуры и архитектуры продукта
— Менторить инженеров и усиливать команду
— Опыт проектирования и построения распределённых систем
— Опыт разработки и масштабирования highload-сервисов
— Практический опыт построения систем сбора данных
(парсинг / краулинг / scraping-инфраструктура)
— Понимание архитектурных паттернов:масштабирование, отказоустойчивость, асинхронность, очереди
— Опыт принятия архитектурных решений и ответственности за них
— Сильная база в вебе: HTTP/HTTPS, cookies, headers, клиент-серверное взаимодействие
— Коммерческий опыт backend-разработки (Node.js или аналогичные технологии)
— Опыт работы с:
• PostgreSQL
• системами очередей (RabbitMQ, Kafka или аналоги)
• Docker / Kubernetes
— Опыт обхода антибот-защит (Cloudflare, Akamai, DataDome и др.)
— Работа с прокси-инфраструктурой (ротация, управление пулами)
— Опыт работы с CAPTCHA (reCAPTCHA, hCaptcha)
— Опыт автоматизации браузера (Puppeteer, Playwright)
— Удалённая работа и гибкий график
— Возможность напрямую влиять на архитектуру и технические решения
— Сложные инженерные задачи и нетривиальные кейсы
— Минимум бюрократии и быстрые решения
— Сильная команда инженеров
