Описание вакансии
Команда занимается развитием и поддержкой корпоративного хранилища данных в Лаборатории Касперского.
Мы создаем ядро современной Customer Data Platform (CDP) — систему, которая становится единым источником правды о клиентах для всего бизнеса. Платформа предназначена для сбора, унификации и обработки near real time больших объемов клиентских данных из различных источников данных (брокеры сообщений, реляционные БД, REST API).
Вам предстоит:
- Участвовать в разработке и поддержке ядра CDP;
- Проектировать и реализовывать высоконагруженные микросервисы на Python для приема и обработки данных;
- Проектировать схемы хранения и оптимизировать запросы в MS SQL Server и Clickhouse;
- Предлагать технические решения и внедрять передовые практики в области качества кода, безопасности, отказоустойчивости и производительности сервисов;
- Работать с системами потоковой обработки данных;
- Разрабатывать unit-тесты и мониторинг для обеспечения стабильности и прозрачности работы сервисов;
- Участвовать в CI/CD процессах, релизах, деплоях и операционной работе — от первых запусков до масштабирования;
- Оказывать наставничество и поддержку бэкенд-разработчикам, проводить код-ревью.
Мы ожидаем от Вас:
- Уверенное владение Python 3.11+;
- Опыт работы с реляционными базами данных: MS SQL Server или PostgreSQL;
- Опыт работы с SQLAlchemy, Pydantic;
- Опыт работы с контейнеризацией - Docker.
- Опыт интеграции с системами через Kafka, RabbitMQ, REST API;
- Понимание архитектурных паттернов: CQRS, Saga, Event Sourcing, CDC, Transactional Outbox;
- Опыт использования Apache Airflow для оркестрации процессов;
- Умение писать интеграционные, функциональные и unit-тесты;
- Опыт работы с большими объемами данных и оптимизации производительности.
Будет плюсом:
- Опыт работы с С#;
- Опыт работы с Hadoop, S3, Clickhouse;
- Опыт работы с Spark;
- Опыт работы с Prometheus, Grafana;
- Опыт работы с Kubernetes.
