Инженер по данным

Exactera имеет офисы в Нью-Йорке, Тарритауне (штат Нью-Йорк), Сан-Диего (штат Калифорния), Лондоне и Аргентине. 

 

Роль

В качестве старшего инженера по данным (Staff Data Engineer) вы будете обеспечивать старшее техническое руководство на территории для команды инженеров данных. Вы будете отвечать за определённый сегмент нашей централизованной платформы данных Databricks с полной ответственностью за решения и результаты, выступать в роли технического партнёра для главного инженера платформы данных (Principal Data Platform Engineer) и принимать архитектурные решения, а также самостоятельно решать проблемы по мере роста сложности платформы после миграции.

Это практическая роль инженера данных, сосредоточенная на создании и поддержке производственных конвейеров данных, принятии архитектурных решений по моделированию данных и проектированию конвейеров, а также выступлении в качестве точки эскалации на территории и резервного источника институциональных знаний по решениям платформы.

 

Бизнес-задача

Мы управляем несколькими продуктовыми линиями (Transfer Pricing, R&D Services, RoyaltyStat, Provisioning), каждая из которых имеет отдельные базы данных с корпоративными финансовыми данными — бухгалтерскими проводками, главными книгами и финансовыми отчетами. Наша непосредственная задача — миграция многотерабайтных наборов данных из устаревших систем в единую озерно-домовую платформу Databricks с установлением паттернов управления, которые позволят масштабировать операции с несколькими продуктами. По мере развития платформы команде инженеров данных необходим старший технический представитель на территории для управления архитектурой и поддержания качества платформы.

 

Что вы будете создавать

• Производственные конвейеры данных: создавать и поддерживать производственные конвейеры данных в рамках паттернов и управления, установленных ведущим инженером платформы данных, обеспечивая надежность и производительность на уровне многотерабайтных данных.
• Моделирование данных и архитектура: принимать архитектурные решения по моделированию данных, проектированию конвейеров и использованию платформы — переводить сложные бизнес-требования в масштабируемые решения данных по всему портфелю продуктов.
• Взаимодействие с заинтересованными сторонами: активно взаимодействовать с продуктовой и инженерной командами для перевода требований в решения данных, выступая в качестве основного технического контактного лица на территории для нужд инженерии данных.
• Качество платформы: обеспечивать качество платформы через код-ревью, практики тестирования и инженерные стандарты, которые гарантируют надежную и поддерживаемую инфраструктуру данных.
• Знания и преемственность: выступать в роли точки эскалации на территории и резервного источника институциональных знаний по решениям платформы, снижая риски единой точки отказа и укрепляя техническую экспертизу на территории по мере масштабирования платформы.

 

Бизнес-проблемы, которые вы будете решать

• Доставка данных для нескольких продуктов: реализовывать конвейеры данных, обслуживающие несколько продуктовых линий (Transfer Pricing, R&D Services, RoyaltyStat, Provisioning) с разными требованиями к данным, обеспечивая надежное и своевременное получение данных для каждого продукта.
• Реализация миграции из устаревших систем: руководить реализацией конвейеров для миграции многотерабайтных наборов данных из устаревших систем в Databricks, работая в рамках архитектуры, определённой ведущим инженером платформы данных.
• Техническое руководство на территории: обеспечивать старший уровень принятия решений, которого не хватает текущей ближневосточной команде — владеть проблемами от начала до конца, принимать независимые архитектурные решения и наставлять инженеров для повышения качества работы всей команды.
• Координация между командами: устранять разрыв между продуктовыми командами и инфраструктурой данных, переводить бизнес-требования в решения данных и обеспечивать выполнение платформой обязательств перед продуктами.

 

Требуемый опыт

Основы инженерии данных

• SQL, Python и PySpark — реализация производственных конвейеров и оптимизация производительности
• Опыт работы с Databricks — Delta Lake, Workflows и Databricks SQL; предпочтительно знакомство с Unity Catalog
• Более 5 лет в инженерии данных с доказанной способностью самостоятельно решать задачи без постоянного контроля
• Опыт создания и поддержки ETL/ELT конвейеров в масштабе, включая обработку ошибок, мониторинг и проверку качества данных
• Сильные навыки моделирования данных для структурированных и полуструктурированных источников данных

 

Платформа и инфраструктура

• Опыт работы с AWS (S3, IAM, VPC) и способность участвовать в принятии инфраструктурных решений
• Опыт работы с инфраструктурой как кодом (предпочтительно Terraform)
• Знакомство с паттернами управления данными (Unity Catalog, трассировка данных, контроль доступа)

 

Техническое руководство

• Доказанная способность принимать независимые архитектурные решения — не только выполнять задачи по тикетам
• Опыт наставничества или руководства младшими и средними инженерами данных
• Сильные навыки письменного и устного общения — умение документировать архитектурные решения и напрямую взаимодействовать как с техническими, так и с бизнес-стейкхолдерами
• На территории США — роль требует пересечения часовых поясов, минимально асинхронного общения и прямого взаимодействия с заинтересованными сторонами

 

Желательно, но не обязательно

• Опыт работы с финансовыми данными, бухгалтерскими системами (NetSuite) или корпоративными ERP-платформами
• Опыт создания конвейеров для AI/ML нагрузок (подготовка данных для последующего ML-потребления, RAG и LLM)
• Знакомство с рамками управления данными и требованиями соответствия для регулируемых отраслей
• Опыт работы с ближневосточными инженерными командами или переход из них

Что мы предлагаем:
(Следующее применимо только к позициям на территории США)

• Культура сотрудничества в команде с возможностями для карьерного роста. 
• Множество возможностей быть замеченным, развивать ценные навыки и продвигать карьеру. 
• Щедрая политика отпусков, включая оплачиваемый отпуск по уходу за ребенком. 
• Комплексные медицинские планы с опциями FSA и HSA. 
• Пенсионный план 401(k). 
• Страхование жизни и от инвалидности. 
• Дополнительные льготы, такие как сберегательный план по уходу за иждивенцами, страхование домашних животных, подготовка завещаний и программа помощи сотрудникам. 

 

О нас:

Exactera — финтех SaaS стартап, основанный в 2016 году, мы стоим на пересечении человеческого и машинного интеллекта. Наши корпоративные налоговые решения работают на базе ИИ и облачных технологий, обслуживая клиентов по всему миру. С более чем 100 миллионами долларов финансирования от Savant Venture Fund и Insight Partners, мы готовы к росту. Мы привержены разнообразию, инклюзивности и равным возможностям для всех.