АНО «Центр технологических инициатив «Сколково» ищет дата-инженера для создания и развития единой фабрики данных аналитической линейки. Специалист будет отвечать за сбор, очистку, нормализацию и объединение данных из корпоративной отчетности, внутренних платформ, государственных реестров и внешних информационных систем. Результаты работы будут использоваться при подготовке индексов, рейтингов и исследований технологических ниш.
Обязанности:
- Создавать и поддерживать пайплайны загрузки, обработки и обновления данных.
- Объединять данные годовой отчетности компаний, квартальных срезов, внутренних платформ и внешних источников.
- Реализовать первый проект команды — нормализацию отчетности компаний за предыдущие 3–5 лет и формирование ретроспективных временных рядов.
- Разрабатывать и поддерживать единые справочники компаний, отраслей, продуктов и технологических направлений.
- Обрабатывать дубли, смены наименований и реквизитов, реорганизации юридических лиц и конфликтующие идентификаторы.
- Разрабатывать автоматические проверки полноты, качества и непротиворечивости данных.
- Обеспечивать фиксацию источника, даты среза и уровня верификации каждого показателя.
- Формировать воспроизводимые наборы данных для методологов, аналитиков и выпускающего редактора данных.
- Автоматизировать регулярные выгрузки, показатели сайта и подготовку данных по аналитическим запросам.
- Документировать архитектуру, преобразования и правила обработки.
- Участвовать в формировании реестров российских технологических компаний и подготовке данных для оценки их финансовой динамики, технологической зрелости и рыночной активности.
- Подключать и обрабатывать внешние источники, необходимые для исследований технологических ниш: государственные реестры, закупочные, патентные, внешнеторговые и инвестиционные данные.
- Собирать данные электронных торговых площадок и ЕИС, разрабатывать маску кодов ОКПД 2, словарь предметов закупки и правила классификации технологического спроса.
Требования: - Опыт работы дата-инженером или разработчиком ETL/ELT-процессов от 3 лет.
- Уверенное владение SQL и Python.
- Практический опыт построения и сопровождения ETL- или ELT-пайплайнов.
- Опыт работы с реестровыми, финансовыми или корпоративными данными.
- Навыки очистки, нормализации и объединения данных из нескольких источников.
- Опыт работы с дублями, конфликтующими идентификаторами и историей изменений записей.
- Понимание принципов контроля качества данных и воспроизводимости процессов.
- Навык документирования моделей данных, преобразований и бизнес-правил.
- Готовность работать с большими объемами неоднородных и неидеально структурированных данных.
Будет преимуществом:
- Опыт работы в дата-командах банков, финтеха, справочных сервисов, тендерных агрегаторов или электронных торговых площадок.
- Опыт обработки финансовой отчетности компаний и государственных реестров.
- Знание ЕИС, ОКПД 2, ОКВЭД и структуры закупочных данных.
- Опыт работы с патентными, внешнеторговыми или инвестиционными базами.
- Понимание принципов построения аналитических витрин и API для предоставления данных.
Условия: 
