Мы разрабатываем аналитические системы на базе единой платформы, которые позволяют безопасно работать с данными независимо от их формата, метода хранения и эксплуатации. Платформа основана на концепции Infrastructure as Code (IAC) и состоит из нескольких независимых программных продуктов и сервисов на базе JVM/Scala и Kubernetes. Она обеспечивает высокий уровень потоковой обработки и хранения данных, управления доступом и метаданными, а также контролем их использования в периметре частных облачных сред.
Обязанности:
- Проведение комплексного анализа разнородных данных (структурированные/неструктурированные) из различных источников
- Разработка и внедрение метрик качества данных (консистентность, полнота)
- Формирование дата-контрактов
- Автоматизация выполнения проверок качества поступаемых данных
- Взаимодействие с инженерами данных и продукт-менеджером
Технологический стек
- Обработка данных: Spark, (PySpark), Airflow
- Хранение данных: S3, Parquet, Iceberg, Scylla, OpenSearch, Clickhouse
- Анализ данных: Jupyter Lab, Pandas, NumPy, ydata-profiling
- Мониторинг и логирование: Grafana, Prometheus, Loki
Требования:
- Опыт работы в аналитике данных с фокусом на качество и интеграцию более 5 лет
- Опыт работы с инструментами DQ (например, GreatExpectations, Deequ, Soda)
- Отличное знание SQL
- Навыки работы с Jupyter Lab для анализа и визуализации данных
- Опыт работы c Spark, Airflow, S3
- Опыт работы с данными в различных форматах (parquet, csv, json, iceberg)
Будет плюсом:
- Наличие опыта наставничества
- Умение доносить объяснение технических решений языком, понятным бизнес-заказчикам
- Опыт работы дата-инженером
- Опыт работы в k8s окружениях
Что мы предлагаем
Здоровье и спорт:
- ДМС со стоматологией
- Корпоративные скидки в сети фитнес-клубов World Class
- Корпоративный тариф на абонементы FITMOST
- Программа корпоративных скидок Best Benefits – на спорт и не только
- Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги, шахматы)
Обучение и развитие:
- Курсы английского языка, в том числе с носителем языка
- Сообщества по интересам: вместе читаем книги, ходим на интересные мероприятия и делимся маршрутами путешествий
- Внешние профессиональные курсы и конференции, сертифицированное обучение, которые вы выбираете сами
- Профильные митапы – организовываем, проводим и принимаем участие
- Билеты со скидкой в Музей криптографии для сотрудников и их семей
А также:
- Работа офисе, дистанционно или в гибридном формате
- Комфортные офисы в Москве, Санкт-Петербурге и Нижнем Новгороде с кофе-поинтами и разнообразными снеками каждый день
- Насыщенные и яркие корпоративные праздники
- Классный мерч
