Специализация
Data Engineering
Технологии/инструменты
Требования к опыту и навыкам
- Опыт построения витрин данных.
- Технологический стек: SQL, Python, Apache Iceberg (обязательно!), Spark, Hadoop/S3/S3-like, Apache Airflow, Parquet.
- Базовый опыт работы с реляционными СУБД.
- Опыт работы с Kafka.
- Git, CI/CD.
- XML, JSON.
- Навыки системного анализа, тестирования.
- Навыки работы с Jira + Confluence.
Задачи
- Анализ существующих решений.
- Миграция витрин со стека Hadoop (Hive, Oozie, Spark 2.4, Impala) на стек Iceberg + Spark 3.5 + Airflow, реализация недостающих для витрин реплик с источников с помощью кодогенераторов.
- Переработка решений на указанном стеке с помощью готовых кодогенераторов, иногда разработка с нуля по шаблонам.
- Наполнение документаций по разработанным решениям.
О компанииUsetech
Сфера
Заказная разработка / Аутсорсинг
Размер
501 - 1000
Компания Usetech была основана в 2006 году, и за это время команда успешно реализовала и внедрила сотни проектов по разработке ПО на заказ. Компания предлагает своим Заказчикам полный спектр услуг в области заказной разработки программного обеспечения, независимого тестирования и IT-консалтинга.
Стабильность, гибкость, прозрачность всех процессов проектирования, использование современных технологий, понимание ключевых бизнес-процессов клиентов, а также высокий уровень квалификации специалистов, позволяют Usetech выступать в качестве надежного IT – партнера.
