Data Engineer

WILIX - аккредитованная IT - компания. Мы создаем корпоративные системы, помогаем компаниям оптимизировать и развивать свой бизнес.

Сегодня мы в поиске DE для работы на внешних проектах - потребность открыта на различные проекты в сферах финтеха, ритейла, эдтеха и пр.

Обязанности:

• Разработка 1-го нового endpoint для выдачи внутренней статистики Airflow
• Сбор и хранение внутренней статистики по запущенным DAG-ам (утвержденный набор атрибутов) в мета DB Airflow
• Расширение 4-х API Airflow дополнительным 1-м атрибутом : оператор greenPlum, оператор ClickHouse, оператор Trino, оператор CTL
• Разработка Unit-тестов

Требования:

• Проектирование и разработка сервисов и приложений на Python со сложной бизнес логикой;
• Интеграция приложений с корпоративными системами;
• Разработка отдельных сервисов хранения, обработки и пересылки данных различной сложности и объема;
• Работа с Форматами данных JSON, XLSX, XML;
• Работа с Библиотеками Python (json, xlwt, xlrd, pyspark);
• Hadoop, Spark, Kafka Streams, Cassandra, HBase, ClickHouse.

Условия:

• Интересные и разнообразные проекты
• Возможности карьерного и профессионального роста
• Работа в энергичной молодой команде, готовой обмениваться опытом

• Укажите, пожалуйста, в сопроводительном письме желаемый уровень финансовой мотивации
  Обратите внимание, что предусмотрен гибридный формат в Москве