Мы разрабатываем аналитические системы на базе единой платформы, которые позволяют безопасно работать с данными независимо от их формата, метода хранения и эксплуатации. Платформа основана на концепции Infrastructure as Code (IAC) и состоит из нескольких независимых программных продуктов и сервисов на базе JVM/Scala и Kubernetes. Она обеспечивает высокий уровень потоковой обработки и хранения данных, управления доступом и метаданными, а также контролем их использования в периметре частных облачных сред.
Основные задачи:
- Установка и настройка загрузчиков данных на основе Nifi, Spark, Airflow в закрытых контурах заказчика
- Настройка систем мониторинга и оповещения по работе загрузчиков данных
- Реализация общих программных компонент по обработке данных (airflow операторы, spark internals, общие библиотеки по загрузке данных)
- Выполнение Code review и контроль правильности реализации принятых технических решений
- Реализация процессов загрузки данных на платформу из различных источников (s3, hdfs, samba, sftp) в различных форматах (csv, parquet, json, xml)
- Выезды на продакшн
Технологический стек - Языки программирования: Scala (2.13+), Python (3.8+)
- Хранение и обработка данных: Postgresql, ClickHouse, Scylla, ElasticSearch, S3, Kafka, Spark
- Мониторинг: Grafana, Prometheus
- Прочие технологии и фреймворки: Docker, Kubernetes(Openshift), Typelevel (Cats Effect, Circe, Doobie, Weaver), ScalaTest
Наши ожидания:
-
Профильное образование: информационные технологии, статистика, математика
-
Опыт работы по специальности от 3 лет
-
Опыт разработки на Scala или Python от 2 лет
-
Знание особенностей реализации различных алгоритмов и структур данных
-
Опыт работы в команде
-
Готовность к разъездному характеру работы
-
Готовность работать с государственными и коммерческими заказчиками
Что мы предлагаем
Здоровье и спорт:
- ДМС со стоматологией
- Корпоративные скидки в сети фитнес-клубов World Class
- Корпоративный тариф на абонементы FITMOST
- Программа корпоративных скидок Best Benefits – на спорт и не только
- Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги, шахматы)
Обучение и развитие:
- Курсы английского языка, в том числе с носителем языка
- Сообщества по интересам: вместе читаем книги, ходим на интересные мероприятия и делимся маршрутами путешествий
- Внешние профессиональные курсы и конференции, сертифицированное обучение, которые вы выбираете сами
- Профильные митапы – организовываем, проводим и принимаем участие
- Билеты со скидкой в Музей криптографии для сотрудников и их семей
А также:
