Мы ведущий технологический партнер Счетной палаты Российской Федерации.
АНО «Цифровой аудит» специализируется на внедрении инноваций в области Big Data и AI для создания надежных, эффективных и масштабируемых технологических решений.
Мы ищем Lead Data Engineer / руководителя команды, который возьмет на себя техническое лидерство и организацию работы по построению и поддержке нашей платформы данных.
Что нужно делать:
- Организация деятельности по созданию и поддержке аналитических хранилищ;
- Организация поддержки полного цикла ETL/ELT;
- Обеспечение поддержки в построении аналитических запросов со стороны инженерии.
Наши ожидания:
- Опыт руководства коллективом дата-инженеров не менее 3 лет
- Глубокие знания SQL:
- Знание, что такое физический и логический JOIN;
- Умение применять план запроса;
- Понимание что такое индексы, партиционирование, шардирование, сжатие данных, тюнинг параметров СУБД, распределенные таблицы, параллельные вычисления, форматы ORC/parquet;
- Опыт работы с оконными функциями, ROLLUP;
- Опыт работы с одной или несколькими аналитическими СУБД или платформами (Greenplum, Clickhouse, Vertica, Hive, Redshift или похожими);
- Понимание процессов Data-инженерии;
- Знание, чем отличаются ETL, ELT, CDC и опыт работы хотя бы с одним из этих data pipeline;
- Понимаете OLTP и OLAP, Опыт работы с Data Warehouse и Data Lake;
- Опыт разработки на языке программирования Python или Java;
- Знание Apache Airflow/Apache NiFi (иные похожие инструменты)
- Знание инструментов Pentaho Data Integration (PDI) или Hop (иные похожие инструменты);
- Умение проводить обработку структурированных данных (XML, JSON, YAML, CSV/TSV, иных)
- Опыт работы с обработкой не структурированных или слабо структурированных данных (электронные письма, логи, HTML-страницы, PDF документы, иные похожие виды данных) и извлечь из них требуемые сведения
- Навыки работы с ОС Linux
- Опыт работы с GIT
Будет плюсом:
- Опыт работы с архитектурой Data Vault
- Опыт работы с Postgres и Clickhouse
- Опыт работы с Hadoop и/или S3
- Умение "чинить" невалидные данные.
Мы предлагаем:
- Работу в аккредитованной IT компании с большим потенциалом;
- Прозрачную систему мотивации, стабильную загрузку;
- Оформление в соответствии с ТК РФ;
- Дружный коллектив и лояльное внимательное руководство;
- Разнообразный набор социальных льгот и гарантий;
- Уровень заработной платы по результатам собеседования.
