О команде
Мы – команда АО НПК «БАРЛ»: российской инженерной компании в сфере космических технологий, ДЗЗ и геоинформационных решений. В этом направлении мы разрабатываем прикладное программное решение, которое объединяет данные из разнородных источников (ДЗЗ, телеметрию, справочные и открытые данные) в единое хранилище, выполняет автоматическую обработку и анализ с применением методов машинного обучения, поддерживает релевантную выдачу результатов пользователю через веб-интерфейс и отчётные материалы.
В команду нужен инженер геоданных с уклоном в разработку ETL/ELT.
Чем предстоит заниматься (обязанности)
Задача роли – организовать и реализовать полный цикл подготовки данных: изучение источников геоданных, предложения к структурам их хранения, разработка и настройка автоматического сбора, приведение векторных и растровых данных к единому виду, организация хранения, подготовка ML-витрин, обеспечение качества и производительности.
Интеграция источников и сбор данных
- Изучать новые источники данных и предлагать структуры хранения: анализировать формат, схему, качество данных, частоту обновления и ограничения доступа; формировать описание источника и проектировать слой хранения (сырой – нормализованный слой – ML-витрины), включая ключи уникальности, версионирование и правила дедупликации.
- Подключать новые источники данных: API/HTTP, файлы, БД, геосервисы (OGC WMS/WFS/WMTS), FTP/S3-подобные хранилища.
- Разрабатывать и поддерживать коннекторы, сервисы загрузки: повторные попытки, ограничение запросов, контроль прогресса, идемпотентность, дедупликация.
- Организовать сбор данных в сырой слой (staging) и приводить их в целевую схему: очистка, нормализация и т.д.
Геоданные (ядро роли)
- Загружать и приводить геоданные к единому формату: работать с векторными и растровыми данными – GeoJSON, GeoPackage, Shapefile, KML, GeoTIFF, COG (Cloud Optimized GeoTIFF) и другими форматами.
- Организовывать хранение векторных геоданных в PostGIS: поддерживать геометрию объектов, настраивать пространственные индексы, проверять и исправлять некорректные геометрии.
- Организовывать хранение растровых данных: готовить и размещать GeoTIFF/COG и другие растры в файловом или S3-совместимом хранилище; в PostGIS хранить метаданные растра (время, покрытие, CRS, разрешение, ссылки/пути, контрольные суммы) и обеспечивать быстрый поиск по области и времени.
- Работать с системами координат: определять и приводить данные к нужной системе координат (CRS), выполнять преобразования и контролировать типичные ошибки привязки.
- Готовить данные для отображения на карте: упрощать геометрию, выбирать формат выдачи (GeoJSON/тайлы), при необходимости формировать тайлы и облегчённые представления.
Качество, эксплуатация
- Настраивать контроль качества данных: проверки полноты, корректности, актуальности, поиск дублей и аномалий, формирование отчётов по качеству.
- Оптимизировать хранение и запросы: настраивать индексы, при необходимости применять партиционирование по времени/объёму и улучшать производительность обработки.
- Вести понятную техническую документацию: описывать форматы и структуру данных, договорённости по полям и правилам, а также весь поток обработки – от источника до витрин/выдачи.
Наши ожидания (обязательные требования)
- Практический Python для обработки данных и написания сервисных скриптов.
- PostgreSQL/PostGIS: уверенный SQL и понимание PostgreSQL (индексы, транзакции, ограничения, оптимизация запросов) и базовые навыки работы с PostGIS (геометрии, пространственные запросы, пространственные индексы).
- Опыт построения загрузки данных «с нуля» (ingestion/ETL/ELT): подключение источников, расписания, повторные запуски, контроль прогресса, идемпотентность, дедупликация, ведение сырого слоя.
- Геоданные и ДЗЗ как основная область:
- понимание геометрий и систем координат (CRS — Coordinate Reference System), типовых ошибок привязки и преобразований;
- работа с форматами геоданных (вектор/растр), включая GeoTIFF и COG (Cloud Optimized GeoTIFF);
- базовое понимание данных ДЗЗ: метаданные сцен, подготовка данных для отображения (квиклуки, тайлинг).
- Linux и Git: уверенная работа в терминале и с системой контроля версий.
Будет плюсом
- PostGIS на практике: GiST-индексы, ST_*-функции, проверка/исправление некорректных геометрий, оптимизация пространственных запросов.
- Знание «геоинструментов»: GDAL/OGR, GeoPandas, Shapely, PyProj, Rasterio.
- Оркестрация пайплайнов: Airflow / Prefect / Dagster (или аналоги), опыт эксплуатации задач и мониторинга.
- Хранилища и деплой: S3-совместимые хранилища (MinIO/AWS S3), Docker, CI/CD.
Кому эта роль НЕ подойдёт
- Если ваш основной опыт — витрины/отчётность поверх уже готового DWH, где источники и схемы даны, а разработка загрузки, разбор форматов и работа с “грязными” данными минимальны.
- Если вам ближе BI-аналитика и отчёты, а не инженерия интеграции: коннекторы, ingestion, нормализация, контроль качества.
- Если вы не готовы работать с геоданными (CRS, геометрии, PostGIS, форматы вектор/растр) как с основной частью задач.
Мы предлагаем
- Оформление по ТК.
- Гибкий график, офис/удалёнка/гибрид.
- Адекватный процесс: задачи через понятные требования, возможность влиять на технические решения.
- Время на развитие: обучение инструментам, обмен опытом.
- Уровень дохода обсуждается по итогам собеседования.
