Data Engineer

Ключевые требования:

• Минимум 4 года data engineering в production-среде
• Опыт интеграции с промышленными и enterprise-системами (историаны, MES, SAP)
• Опыт развёртывания data-контура on-prem в закрытых периметрах заказчика
• Самостоятельность и работа в малой команде без выделенного DevOps на каждую задачу

Обязательные Hard Skills

• Python и SQL — уверенное владение; построение и сопровождение ETL/ELT-пайплайнов (Airflow/Dagster)
• Интеграции с промышленным ландшафтом:
  • OPC UA/DA, PI Web API / PI SDK или аналогичные интерфейсы историанов
  • MES-системы, SAP (RFC, OData), REST API
  • потоковый транспорт: Kafka, MQTT
• Time-series хранилища: ClickHouse, TimescaleDB или InfluxDB — моделирование данных техпроцессов, тэговая модель, downsampling
• Качество данных: валидация, обработка пропусков и сбоев сенсоров, data contracts, идемпотентность и восстановление пайплайнов после сбоев
• PostgreSQL/Greenplum, объектные хранилища (S3-совместимые)

Инфраструктурные навыки:

• Docker, Kubernetes, CI/CD (GitLab CI или аналоги), Git
• Linux-администрирование, сетевые основы: DMZ, сегментация промышленных сетей, работа через однонаправленные шлюзы
• Инфраструктура как код: Ansible/Terraform
• Мониторинг пайплайнов: Prometheus/Grafana, алертинг

Желательные навыки:

• Знание протоколов АСУ ТП: Modbus, S7, IEC 60870/61850
• Опыт работы в металлургии, ГМК, нефтехимии или энергетике
• Понимание требований ИБ промышленных заказчиков: 152-ФЗ, 187-ФЗ (КИИ), аттестованные сегменты
• Spark/Flink для тяжёлой пакетной и потоковой обработки
• Опыт участия во внедрениях на площадке заказчика