КОМПАНИЯ «АЙ-ТЕКО» — ведущий российский системный интегратор (аутстаффинг IT-специалистов) и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России. Мы аккредитованы в Минцифры.
Задачи:
Разработка и поддержка сервисов сбора и обработки данных о состоянии кластеров Hadoop/GreenPlum (метаданные, fsimage, логи).
Интеграция с внутренними системами: Service Manager, SDP Control, СФД, Kafka (тракты данных).
Реализация механизмов автоматического запуска проверок по триггерам (например, при изменении статуса в SDP Control).
Оптимизация производительности обработки больших объёмов данных (логи, метрики, очереди Yarn, утилизация HDFS).
Построение и доработка дашбордов (аналитика, визуализация трендов).
Разработка ETL-процессов для наполнения отчётной БД.
Ожидания от кандидата
Общие требования:
Высшее образование.
Опыт коммерческой разработки от 4 лет.
Опыт с Golang.
Опыт работы с Linux и Bash.
Готовность к гибриду (офис на Кутузовском проспекте).
Технические требования:
Python 3.9+ (уверенное знание языка, типизация, асинхронность).
SQL (сложные запросы, агрегации, работа с большими таблицами).
Опыт обработки и парсинга больших объёмов данных (логи, fsimage, метрики).
Работа с форматами данных: JSON, Avro, Parquet, CSV.
Умение проектировать ETL-процессы.
Базы данных
Опыт работы с реляционными БД (PostgreSQL / GreenPlum).
Понимание устройства отчётных БД (OLAP-нагрузки).
Опыт работы с Redis.
Интеграции и инструменты:
Опыт работы с Kafka (или другими брокерами сообщений) для работы с трактами данных.
Опыт написания интеграций через REST API.
Системы контроля версий: Git (GitLab).
Навыки и компетенции:
Умение проектировать архитектуру модулей сбора и обработки данных.
Понимание принципов работы распределённых систем (Hadoop / GreenPlum будет плюсом).
Опыт оптимизации запросов и обработки данных для сокращения времени выполнения.
Умение работать с большими объёмами информации (Big Data).
Формат работы: гибрид в Москве (Кутузовский проспект, 32)
О проекте:
Проект в крупном банке.
Cluster Discovery — технический справочник для администраторов платформы УСКАП, который автоматически обновляется. Проект входит в направление «Аналитические инструменты надежности DataOps». Его задача — автоматизировать сбор и предоставление информации о кластерах больших данных (Hadoop, GreenPlum): их конфигурации, загрузке, очередях, пользователях и физическом расположении оборудования в ЦОД.
Команда разрабатывает систему, которая собирает данные из разных источников (логи СФД, fsimage, Service Manager, SDP Control), проверяет состояние кластеров и показывает результаты в виде дашбордов и отчётов.
Мы предлагаем
Работу в стабильной, надежной компании;
Полностью «белую» заработную плату и оформление по ТК РФ с первого рабочего дня;
Расширенный социальный пакет;
Возможности для профессионального развития: обучение, внутренние и внешние курсы;
Активную корпоративную культуру: мероприятия, клубы по интересам и многое другое;
Снабжаем современной техникой для работы.
