Дата-инженер (Платформа анализа данных)

О проекте

Мы запускаем проект — «Платформа анализа данных. Это не просто классическое хранилище данных. Мы строим выделенный высокопроизводительный конвейер для обработки огромных объёмов данных.

Чем предстоит заниматься

Вы будете не просто дата-инженером в классическом понимании. Нам нужен специалист, который сочетает экспертизу в дата-инжиниринге с опытом backend-разработки и умеет работать с высокими нагрузками.

Ключевые задачи:

• Разработка и сопровождение высоконагруженного конвейера обработки данных на отдельном контуре

• Реализация API для взаимодействия между компонентами системы

• Сбор информации через коллекторы (syslog, UDP и другие протоколы)

• Построение ETL/ELT-пайплайнов с использованием Airflow, Spark, Kafka

• Оптимизация производительности: профилирование, работа с многопоточностью, диагностика и устранение узких мест

• Интеграция внешних источников данных в связке с аналитиком

Мы ждём, что вы

Опыт: от 2 лет в дата-инженерии или разработке высоконагруженных систем
Имеете высшее образование

Технические навыки (обязательно):

• Python — основной язык для разработки пайплайнов и автоматизации

• SQL — уверенное владение, оптимизация сложных запросов

• ClickHouse, Hive и другие СУБД

• Опыт работы с Big Data: Hadoop, Spark, Kafka

• Оркестрация: Airflow, Jenkins или аналоги

• Опыт разработки API высокой нагрузки (понимание многопоточности, работа с сетевыми протоколами)

• Опыт работы с коллекторами сбора информации (syslog, UDP и другие)

Soft skills:

• Системное мышление

• Понимание производительности и архитектуры

• Умение работать с большими объёмами данных

• Коммуникация с аналитиками и смежными командами

Условия работы

• Профессиональный рост: участие в профильных конференциях, доступ к корпоративной библиотеке и курсам.

• Официальное трудоустройство в штат аккредитованной IT-компании ООО «НАПА ЛАБС»; полный соцпакет: оплачиваемые отпуска, больничные (100% компенсация), командировки.

• ДМС со стоматологией после прохождения испытательного срока.

• Корпоративные привилегии: бонусные тарифы на телеком-услуги Дом.ру, программы лояльности, скидки в фитнес-клубы и многое другое от партнеров.

• Дружелюбная атмосфера в команде профессионалов, прозрачные процессы.

• Яркая корпоративная жизнь: внутренние хакатоны, митапы, совместные выезды и спортивные мероприятия.