Мы российская быстрорастущая платформа, созданная для взаимодействия разработчиков и ведущих компаний России.
У нас множество компаний-партнёров, которые готовы принять к себе в команду Data engineer для работы над современными продуктами.
Одно из наших преимуществ-это оперативный процесс найма. Обычно 1-2 собеседования независимо от компании.
Обязанности: - Организация репликации и индексирования данных из различных источников (преимущественно Apache Hive) в распределённый облачный кластер (Apache Hive);
- Обеспечение доступности и актуальности данных для обработки запросов в режиме реального времени;
- Реализация взаимодействия с данными через REST API и брокеры сообщений (Kafka, IBM MQ);
- Поддержка сценариев оперативного доступа к данным, включая:
- предоставление информации об остатках по счетам физических лиц по запросам государственных органов;
- обработку данных о товарах в чеках для отображения в мобильных приложениях;
- Оптимизация процессов загрузки, хранения и обработки данных в распределённой среде.
Требования:
- Базовый уровень знания java (циклы, условия, хешмапы и т.д.)
- Базовый уровень знания и понимание CI/CD
- Linux (basic), Ansible, SQL, Git, XML, JSON, XSLT, YAML
- Базовые знания экосистемы Hadoop и его компонентов (Apache Solr, Apache Hive, Apache HBase, Apache Spark, Apache Zookeper, Apache Oozie, Apache Camel)
- Язык: английский, уровень владения: технический (чтение документации, профильных ресурсов)
Условия:
