Мы занимаемся обработкой данных в рамках проекта MyTracker. Это BigData и HighLoad — петабайты на дисках и сотни тысяч RPS.
Прямо сейчас заканчиваем переезд в собственную облачную платформу VK и интегрируемся с корпоративным DWH. Пишем код, разрабатываем архитектуру, занимаемся SRE/DevOps.
Основные технологии: PHP, Go, Kafka, ClickHouse, Tarantool, YTSaurus.
Задачи
- Разработка backend-части аналитической платформы MyTracker
- Поддержка существующих и разработка новых ETL-процессов, внедрение продвинутых ETL-технологий
- Интеграция с корпоративным DWH (на основе YTSaurus) и с облачной платформой
- Развитие OLAP-хранилища на основе ClickHouse
- Поддержание работоспособности высоконагруженного проекта, работающего 24x7x365, сотни тысяч RPS, петабайты данных
- Внедрение Go вместо PHP в высоконагруженных компонентах
- Развитие DevOps-практик
- Развитие мониторинга и внутренней автоматизации
- Интеграция с партнёрами, разработка сервисов обмена данными между MyTracker и рекламными площадками / сервисами монетизации
Требования
- Высшее техническое образование
- Хорошая техническая база: сети, Linux, базы данных, архитектура компьютера
- Опыт работы с большими нагрузками и (или) с большими данными. Или большое желание научиться
- Опыт работы с одним из языков PHP, Go от трёх лет. Отлично, если есть опыт перехода с PHP на Go
- Аналитический склад ума, проактивность
- Будет плюсом опыт работы с NoSQL базами данных (Tarantool, Redis), с колоночными базами данных (ClickHouse и т. п.)
