Описание
Юзтех — группа аккредитованных ИТ-компаний полного цикла разработки с многолетней экспертизой в передовых технологиях: DWH, Big Data, AI/ML, Blockchain, BI, предиктивная аналитика, цифровые двойники производства и рисков.
Технологии/инструменты
- SQL
- Python
- Hadoop/S3/S3-compatible storage
- Apache Iceberg
- Apache Airflow
- Parquet
- Apache Spark
- Git
- CI/CD
- JSON
- XML
- Jira / Confluence
Задачи
- Анализ существующих решений и витрин данных.
- Миграция витрин данных со стека Hadoop на стек Apache Iceberg + Spark + Apache Airflow.
- Реализация недостающих реплик для витрин данных с источников с использованием готовых кодогенераторов.
- Переработка существующих решений на целевом стеке.
- Построение и развитие витрин данных, участие в их тестировании и валидации.
- Взаимодействие с командами разработки и аналитики для внедрения решений.
Мы ожидаем
- Уверенные знания SQL и Python.
- Опыт работы с Apache Spark.
- Практический опыт работы с хранилищами данных.
- Знание и опыт работы с Apache Iceberg.
- Опыт использования Apache Airflow.
- Понимание форматов хранения данных.
- Навыки работы с форматами данных JSON, XML.
