ОТР 2000 - это ИТ-компания с опытом успешной реализации масштабных проектов разработки, внедрения и сопровождения ПО для государственного и коммерческого сектора. В 2025 году нам исполнилось 25 лет!
Сейчас мы в поиске Дата-инженера
Задачи:
- Разработка ELT-пайплайнов: Проектирование и автоматизация загрузки данных из источников (например, PostgreSQL) в ClickHouse, включая потоковую обработку (Kafka);
- Развитие платформы данных: Развертывание и поддержка инфраструктуры (ClickHouse, Apache Superset, Apache NiFi, Kafka);
- Оркестрация и автоматизация: Перевод процессов на Airflow/Prefect и визуальное проектирование потоков в NiFi;
- Обеспечивать стабильность и отказоустойчивость решений (Docker / Kubernetes, мониторинг, HA);
- Управление метаданными: Внедрение и поддержка каталога данных (Data Catalog) для учета изменений и разграничения прав;
- Оптимизация: Обеспечение производительности DWH, надежность пайплайнов и миграция отчетов из legacy-систем;
- Самостоятельно вести задачи полного цикла: от проектирования архитектуры до внедрения и дальнейшей поддержки;
- Оформление по ТК РФ;
- Заработная плата по результатам собеседования.
Что нужно для успешного старта:
Навыки (обязательные):
- Проектирование и реализация ETL/ELT-процессов, включая загрузку данных из PostgreSQL в ClickHouse (Python/SQL, инкрементальные загрузки, CDC, Debezium или прямые коннекторы);
- Уверенное владение SQL и Python;
- Практические навыки работы с ClickHouse: проектирование схем, настройка partitioning и materialized views, оптимизация запросов и производительности;
- Понимание архитектуры DWH, методологий ETL/ELT и принципов потоковой передачи данных;
- Опыт работы с инфраструктурой Big Data и построением масштабируемых решений обработки данных;
- Навыки работы с Apache NiFi для интеграции и визуального проектирования потоков данных;
- Развертывание и поддержка ClickHouse-кластеров в Docker / Kubernetes, понимание принципов масштабирования и отказоустойчивости (HA);
- Навыки мониторинга и обеспечения надежности решений (Grafana / Prometheus), участие в миграции и оптимизации legacy-отчетности;
- Уровень Middle+: самостоятельное ведение задач полного цикла — от проектирования и внедрения до поддержки и развития решения, способность предлагать технические решения.
Навыки (желательные):
- Уверенная работа с Kafka (управление топиками и partitions);
- Знание Airflow / Prefect: разработка и поддержка DAG, создание operators для ClickHouse и Kafka, миграция legacy-процессов на оркестраторы;
- Знание подходов к управлению метаданными: внедрение Data Catalog (Amundsen, DataHub или аналоги), построение metadata-driven пайплайнов, настройка lineage и RBAC;
- Понимание требований compliance (GDPR / ФЗ-152).
Что мы предлагаем:
- Возможность принять участие в социально-значимых проектах федерального масштаба, перенимая экспертизу у настоящих профи;
- Все льготы и преимущества работы в аккредитованной ИТ-компании;
- Система наставничества на время адаптации и поддержка в профессиональном развитии;
- Долгосрочные проекты и возможность перехода в другие команды;
- Доверие к сотрудникам и отсутствие микроменеджмента;
- Приятные бонусы - корпоративные скидки в SkyEng, СИТИЛИНК, xFit, оплата обучения и другие льготы в составе гибкого соцпакета.
