November 14, 2022

Data engineer (Middle)

О команде
Команда инженеров данных
Как специалисты по Big Data мы помогаем руководству отвечать на вопросы о компании, основываясь на данных. Например, обобщаем все клиентские взаимодействия с компанией в одну историю, под одним универсальным идентификатором. Прогнозируем и корректируем общую выручку от клиента на всем периоде жизни с компанией. Боремся с фродом. Предсказываем отток и next-best-action для клиентов

Как специалисты по Big Data мы помогаем руководству отвечать на вопросы о компании, основываясь на данных. Например, обобщаем все клиентские взаимодействия с компанией в одну историю, под одним универсальным идентификатором. Прогнозируем и корректируем общую выручку от клиента на всём периоде жизни с компанией. Боремся с фродом. Предсказываем отток и next-best-action для клиентов.

No items found.

Что и как мы делаем?

Мы создаем продвинутое аналитическое хранилище (Data Lake) по принципам Data Mesh. Все данные мы описываем в каталоге, чтобы их можно было легко находить и переиспользовать. Для каждого куска данных мы определяем владельца, который относится к ним, как к продукту.

Для этого в каждом подразделении должны быть люди с навыками data engineer, погруженные в предметную область. Под эту задачу мы сейчас активно набираем людей.

Наши преимущества:

  • Мы развиваем свое сообщество DE. Сейчас в нем состоит 300 человек с разным уровнем навыков от Junior до Senior. Инженеры помогают друг другу бороться с трудностями и развиваться, делятся друг с другом кодом, всякими лайфхаками;
  • Мы проводим митапы по инфраструктурным и софтовым темам. Коллеги делятся опытом, помогают разобраться в востребованных темах;
  • Мы даем все инструменты для обучения и развития (в том числе, платные). Конференции, подписки, книги, курсы – все что помогает расти профессионально;
  • Мы даем возможность выбрать удобный формат работы: удаленный или гибридный.

Типовые задачи DE:

  • Анализ требований к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами);
  • Поиск и исследование источников данных для последующей интеграции;
  • Оценка пригодности, качества исходных данных;
  • Разработка ETL процессов на Spark;
  • Оркестрация ETL процессов в Airflow;
  • Проектирование баз данных;
  • Создание конвейеров данных NiFi.

Мы понимаем, что каждый DE индивидуален. Поэтому даем описание как бы выглядел идеальный кандидат. 

DE в Билайн:

  • Любит работать в команде и умеет это делать;
  • Знает SQL на высоком уровне (в т. ч. DDL, табличные выражения, оконные функции);
  • Работал с Hive, PostgreSQL;
  • Умеет разрабатывать ETL процессы Spark на Scala (потоковая обработка как преимущество);
  • Пользовался AirFlow или другими оркестраторами – Oozie, Luigi, ну или cron;
  • Может что-то написать на Python – в объеме чтобы пользоваться AirFlow или еще круче;
  • Имеет опыт потоковой разработки конвейеров данных в NiFi или Flink;
  • Интересуется Flink, пробовал применять его в проектах;
  • Умеет проектировать базы данных (знает Data Vault 2.0 например);
  • Понимает принципы работы реляционных СУБД и HDFS;
  • Имеет представление о колоночных и NoSQL СУБД;
  • Понимает подходы к работе с качеством данных;
  • Применяет системный подход к работе, думает о конечной бизнес-задаче, мыслит логически, уделяет внимание деталям.

Откликнуться на сайте
Откликнуться
Поможем построить карьеру в профессии

150+ специалистов из ведущих компаний России и мира

Full name
Job title

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Suspendisse varius enim in eros elementum tristique.

Full name
Job title

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Suspendisse varius enim in eros elementum tristique.

No items found.
Thank you! Your submission has been received!
Oops! Something went wrong while submitting the form.
Дарья Щурик
Product Lead (Buyer Experience) в Ozon
54
От 
700
за сессию
Маркетплейсы, E-commerce, Энергетика, Энергетика, Энергетика, EdTech, IT
Даниил Харламов
Product Owner в Playrix
103
От 
6000
за сессию
Gamedev, IT, Software, Hardware, Спорт, EdTech, HealthTech, Гостиничный бизнес и путешествия
Светлана Кувшинникова
HR Director в Philip Morris International
61
От 
7000
за сессию
Рекрутинг, Агентство, Консалтинг, Транспорт и логистика, FMCG, FMCG, Финансы, FMCG, Ритейл, E-commerce
Илья Лесов
Product Design Team Lead в ВТБ
51
От 
4500
за сессию
Банки, FinTech, Ритейл, Агентство, IT, Дизайн, FinTech, Криптовалюты, IT, Консалтинг, Software, EdTech
Григорий Бахин
Наставник в Яндекс.Практикум
58
От 
4000
за сессию
Телеком, E-commerce, Маркетплейсы, E-commerce, Транспорт и логистика, IT, Стриминги, E-commerce, EdTech, IT
Евгений Трофимов
Hiring Manager and Design Lead в "FAANG, London"
60
От 
12500
за сессию
Дейтинг, Software, Дейтинг, Software, Дейтинг, Software, Банки, FinTech
Татьяна Олещенко
Руководитель продуктового маркетинга в Ozon
62
От 
2000
за сессию
Телеком, IT, Social media, E-commerce, Телеком, Маркетплейсы, E-commerce, Ритейл
Валерия Любимова
Профориентолог, карьерный коуч в Фриланс
36
От 
5500
за сессию
Банки, FinTech
No items found.