Data Engineer

Data Engineer (ClickHouse / Kafka / MariaDB)

Приветствую, меня зовут Марина, я являюсь HR компании
“Амбрелла — Защита Информационных Систем”.
Мы ищем экспертов по работе с данными и потоковой обработке, с сильным бэкграундом в построении data pipeline и высоконагруженных систем.
Предполагается активная работа с ingestion, обработкой и хранением больших объемов данных в production.

Обязанности
- Проектирование и развитие data pipeline (ingestion → processing → storage)
- Работа с потоковыми данными через Kafka
- Проектирование и оптимизация схем в ClickHouse
- Работа с реляционными БД (MariaDB) для transactional / operational задач
- Оптимизация производительности запросов и хранения данных
- Построение ETL / ELT процессов
- Обработка и агрегация больших объемов данных (highload)
- Настройка и сопровождение data-инфраструктуры
- Диагностика и устранение инцидентов (troubleshooting)
- Мониторинг и анализ работы data pipeline
- Проведение code review
- Подготовка технической документации
- Взаимодействие с backend-разработчиками, DevOps и SIEM-инженерами
Ежедневный status report о ходе работ

Требования:
- Глубокий опыт работы с ClickHouse
- Проектирование таблиц (MergeTree и др.)
- Партиционирование и шардирование
- Оптимизация запросов
- Уверенный опыт с Kafka
- Топики, партиции, consumer groups
- Настройка producer/consumer
- Понимание delivery semantics (at least once / exactly once)
- Опыт работы с MariaDB / MySQL
- Отличное знание SQL
- Понимание архитектуры распределённых систем
- Опыт построения ETL / streaming pipeline
- Опыт работы с большими объемами данных (GB/TB+)
- Опыт работы с Linux
- Опыт автоматизации (Bash / Python)
- Опыт работы с Docker
- Понимание принципов отказоустойчивости и масштабирования

Будет плюсом:
- Kafka Connect / Kafka Streams / ksqlDB
- Airflow / Dagster / Prefect
- Debezium (CDC)
- Опыт работы с columnar storage
- Опыт работы с time-series / event data
- Prometheus + Grafana
- OpenSearch / ELK stack
- Понимание SIEM / log pipeline
- Опыт построения real-time аналитики
- Опыт highload систем
- Опыт DevOps / SRE
- Опыт оптимизации хранения (TTL, compression, tiered storage)
- Понимание сетевых протоколов
- Наличие публичных проектов (GitHub / GitLab)
- Опыт написания собственных ingestion / processing сервисов

Обязательно:
- Ссылка на GitHub / GitLab (pipeline, ingestion, SQL, сервисы)
- Готовность к full-time работе
- Опыт работы с production-системами
- Готовность участвовать в on-call / incident response (при необходимости)

Условия:
- Работа в аккредитованной IT-компании
- Дружный коллектив
- Оформление по ТК РФ, оплачиваемый отпуск
- График работы 5/2
- Возможность работать над передовыми продуктами в сфере кибербезопасности
- Удалённый формат работы

Всегда рады новым талантам и новым успехам наших сотрудников!