Data Platform Engineer (Analytics Infrastructure)
Мы — быстрорастущий AI-стартап KLYP, создающий платформу нового поколения для видео-контента: стриминг для зрителей и AI-студию с монетизацией для креаторов. Система рассчитана на глобальный рынок, высокую нагрузку, асинхронные процессы и работу с большими объёмами данных.
Наша миссия — объединить авторов и зрителей: дать авторам удобный инструмент для создания и публикации видео, а зрителям — персонализированный и качественный опыт просмотра. Аналитический контур — то, на чём держатся продуктовые решения, персонализация и рекомендации.
Ищем Data Platform Engineer, который возьмёт на себя поддержку и развитие аналитической инфраструктуры. Это hands-on роль: важно уверенно писать инфраструктурный код, понимать, откуда берутся данные и как их используют продукт и аналитика, предлагать решения и доводить задачи до продакшена. Уровень middle/middle+: вы способны самостоятельно вести свой контур, при этом прямого доступа к dev/prod-кластерам у роли нет — права осознанно ограничены.
Чем предстоит заниматься
- Поддерживать и развивать аналитический контур: ClickHouse, Kafka/MSK CDC, Airflow, Superset
- Развивать инфраструктуру рекомендательного стека на ECS Fargate
- Описывать и поддерживать инфраструктуру в Terraform: модули, state, ревью планов
- Настраивать и сопровождать пайплайны доставки данных, включая CDC-потоки
- Обеспечивать надёжность и наблюдаемость контура: метрики, алерты, разбор инцидентов
- Автоматизировать рутину скриптами и CI/CD
- Аккуратно работать с доступами и production-данными, соблюдая принцип наименьших привилегий
- Документировать свои решения и участвовать в ревью чужого кода
- Работать в связке с аналитиками, ML- и продуктовой командами
Технический стек
- Terraform
- AWS (IAM, VPC, ECS/Fargate, S3, Secrets Manager, KMS)
- ClickHouse
- Kafka / MSK, CDC
- Airflow
- Superset
- Docker, Linux
- GitLab CI
- Python / Bash
Требования
Обязательные
- Уверенный Terraform: модули, работа со state, ревью планов
- AWS: IAM, VPC и сети, ECS/Fargate, S3, Secrets Manager, KMS
- Опыт эксплуатации колоночной аналитической СУБД: ClickHouse, BigQuery или Redshift
- Опыт работы с потоковой шиной (Kafka/MSK)
- Уверенный Linux и Docker
- Опыт с CI/CD (GitLab CI)
- Скрипты на Python и/или Bash
- Принцип наименьших привилегий и аккуратность с production-данными как норма работы
Будет большим плюсом
- Понимание CDC и опыт с Debezium
- Опыт с Airflow
- Опыт с Superset или другими BI-инструментами
- MongoDB Atlas
- Наблюдаемость: Prometheus, Grafana, CloudWatch
- Опыт работы в общем AWS-аккаунте с жёстким разграничением доступа
- Опыт работы с высоконагруженными системами и большими объёмами данных
- Умение использовать AI-инструменты в работе: IDE-ассистенты, генерация тестов, анализ логов, ускорение рутинных задач
Что важно в подходе
- Внимательность к blast radius: понимать последствия изменений до того, как они уедут в прод
- Привычка читать чужой код и документировать свой
- Держать баланс между скоростью и надёжностью
- Уметь работать в условиях неопределённости и предлагать решения
- Уметь аргументировать технические решения и не бояться критики
- Спокойно работать в рамках ограниченных прав доступа, а не в обход них
Почему это интересно
- Полноценный аналитический контур в зоне вашей ответственности, а не отдельные тикеты
- Реальные объёмы данных и нагрузка глобального продукта
- Влияние на то, как компания принимает решения и как работают рекомендации
- Выстроенные процессы и команды
- Работа над продуктом, который рассчитан на глобальный рынок и быстро набирает аудиторию
Мы предлагаем
- Быструю динамику стартапа. Мы работаем быстро и поощряем использование AI для ускорения процессов без потери качества.
- Полную удалёнку и гибкий график. Приоритет — часовой пояс МСК ±3.
- ЗП в USD, уровень обсуждается по итогам собеседования. Для кандидатов из РФ возможны выплаты в рублях через ИП или самозанятость.
- Минимум бюрократии и максимум влияния на продукт и технические решения.
- Команду сильных инженеров, аналитиков и других специалистов, у которых можно учиться и с которыми можно расти.
