Data Engineer

Мы аккредитованная IT-компания и обладаем бронзовым статусом в рейтинге лучших работодателей России 2024 года по данным Forbes.

Мы с заботой создаём крутой книжный сервис: помогаем каждому читателю найти и прочитать интересную книгу, а каждому автору — обрести своего читателя и раскрыть творческий потенциал.

На проект по разработке хранилища данных и Data Lake требуется квалифицированный дата-инженер. Одной из составляющих является система self-service аналитики с достаточно большой степенью детализации, что потребует усилий по оптимизации загрузок и чтения данных. В перспективе рассматривается масштабирование за счет облачных ресурсов.

Чем предстоит заниматься:

• Участие в формировании и согласование архитектуры системы обработки и обмена данными

• Выбор и тестирование различных инструментов для повышения качества и скорости обработки данных

• Разработка процедур сбора данных из различных источников (файлы, базы данных, очереди, веб-сервисы, API)

• Разработка процессов загрузки и трансформации данных в хранилище

• Разработка процедур обновления витрин

• Настройка и поддержка оркестрации процессов, алертинг результатов выполнения процессов.

• Разработка процессов сбора метрик качества данных.

• Разработка интеграционных процессов с внешними системами.

• Оптимизация производительности загрузки и чтения данных

• Разработка кубов для Self-service аналитики

Стек:

Транспорт: Debezium, Kafka

Базы данных: PostgreSQL, Greenplum, Clickhouse

Транформации данных: SQL/pgSQL, Python,

Оркестрация: Airflow,

BI: PowerBI (DAX), Superset

Управление разработкой: Jira, GitLab

Наши ожидания:

• Высшее образование

• Опыт работы ETL-разработчиком, дата инженером от 1-го года

• Практический опыт работы с реляционными СУБД в рамках промышленной эксплуатации (как минимум одна из: Oracle, MS SQL, PostgreSQL)

• Отличное знание SQL (запросы, оптимизация запросов, анализ производительности запросов, преобразование данных, работы с аналитическими функциями)

• Наличие опыта разработки ETL-процессов, настройки пайплайнов, навыки оптимизации скорости загрузки

• Наличие опыта работы с Airflow или другим оркестратором процессов.

• Знание общих принципов организации процесса разработки, тестирования и сопровождения ПО (DevOps), опыт работы с Git

• Желательно наличие опыта работы с Clickhouse

• Знание методологий и принципов разработки хранилищ: Kimball, Data Vault, слои данных.

Мы предлагаем:

• Официальное оформление по ТК РФ

• Формат работы: удаленный

• График 5/2

• ДМС со стоматологией, компенсация фитнеса, образовательные курсы и семинары

• Развитая корпоративная культура и дружелюбный коллектив

• Ежедневное погружение в мир книг и неограниченный доступ ко всем электронным и аудиокнигам

Просьба в сопроводительном письме указывать желаемый уровень дохода.

Литрес — больше чем просто работа

Мы верим, что довольная команда — это сильная команда. Поэтому у нас есть приятные бонусы.

• Книги без границ
  с первого дня

  Неограниченный доступ к Литрес Подписке и Литрес Библиотеке. Читай и слушай всё, что нравится.

• ДМС после прохождения
  испытательного срока

  Страховка включает стоматолога, телемедицину, сервис психологической поддержки и диспансеризацию.

• Развитие сотрудников

  Корпоративная библиотека для профессионального роста. Школа молодого руководителя для подготовки кадрового резерва на руководящие должности.

• Компенсация занятий спортом после прохождения испытательного срока

  Частичная компенсация абонемента в спортзале и повышенные скидки в клубах-партнёрах.

Подробнее про наши сервисы

Что для нас важно

• Быть первыми
  и задавать курс

  Мы остаёмся лидерами* индустрии цифровых книг — развиваем рынок, задаём тренды, первыми пробуем новое.

• Быть
  ответственными

  Мы отвечаем за свои слова, решения и действия — перед командой, читателями и партнёрами.

• Думать
  о клиентах

  Мы думаем не только о том, что нужно клиентам сегодня, но и о том, что будет важно для них завтра.

• Расти самим
  и помогать
  расти другим

  Для нас развитие — ключ к успеху. Поэтому мы создаём среду, в которой можно учиться, делиться идеями и воплощать их в жизнь.

*По данным J’son & Partners Consulting, 2024 год.