Ведущий инженер платформы данных

Exactera имеет офисы в Нью-Йорке, Тарритауне (штат Нью-Йорк), Сан-Диего (штат Калифорния), Лондоне, и Аргентине.

Роль

В качестве ведущего инженера по платформе данных вы будете проектировать и внедрять нашу централизованную платформу данных на базе Databricks. Вы установите шаблоны управления с использованием Unity Catalog, оптимизируете затраты и производительность в масштабе, а также обеспечите возможность нашим существующим инженерам данных уверенно работать на платформе. Это роль, связанная с инфраструктурой данных — с акцентом на конвейеры, хранение, управление и операции платформы.

 

Бизнес-задача

Мы управляем несколькими продуктовыми линиями (Transfer Pricing, R&D Services, RoyaltyStat, Provisioning), каждая из которых имеет отдельные базы данных с корпоративными финансовыми данными — бухгалтерскими проводками, главными книгами и финансовыми отчетами. Наша непосредственная задача — миграция многотерабайтных наборов данных из устаревших систем в единый Databricks lakehouse с одновременным установлением шаблонов управления, которые позволят масштабировать операции с несколькими продуктами.

 

Что вы будете создавать

• Структурирование данных: проектирование моделей данных и внедрение единых схем для нескольких разрозненных продуктовых линий.
• Архитектура Unity Catalog: проектирование и внедрение стратегии управления с несколькими каталогами, поддерживающей изоляцию данных, обмен данными между продуктами и комплексное отслеживание происхождения данных по всему портфелю продуктов.
• Оптимизация Delta Lake: установление шаблонов для Z-ordering, компактизации и жидкой кластеризации на уровне многотерабайтных данных. Определение структуры таблиц, стратегий разбиения и политик хранения, которые балансируют производительность запросов и затраты на хранение.
• Фреймворк ETL-конвейеров: создание декларативных шаблонов конвейеров с использованием Delta Live Tables. Создание рабочих процессов оркестрации для загрузки данных из внутренних источников, таких как SQL-базы данных и S3.
• Интеграции с третьими сторонами: интеграция с внешними источниками данных, такими как ERP-системы (например, Netsuite) и внешние поставщики данных (например, S&P) с автоматизированной загрузкой, надежной обработкой ошибок и мониторингом.
• Операции платформы: внедрение стратегий мониторинга затрат и оптимизации, создание фреймворков качества данных, разработка шаблонов самообслуживания, позволяющих инженерам данных работать самостоятельно при соблюдении стандартов управления.

 

Бизнес-проблемы, которые вы решите

• Ключевые миграции устаревших продуктов: руководство архитектурой миграции многотерабайтных наборов данных из устаревших систем в Databricks — установление шаблонов, которые будут использоваться в нескольких продуктовых линиях.
• Мультипродуктовая архитектура данных: проектирование структур Unity Catalog, обеспечивающих безопасное разделение данных между продуктовыми линиями с возможностью контролируемой кросс-продуктовой аналитики там, где это уместно.
• Экономичное масштабирование: создание инфраструктуры, которая масштабируется эффективно — за счет интеллектуального кэширования, оптимизации запросов и стратегий управления вычислениями, избегая линейного роста затрат.
• Надежность платформы: установление мониторинга, оповещений и проверки качества данных, обеспечивающих надежную работу платформы как основы для аналитики и AI-нагрузок.

 

Требуемый опыт

Экспертиза Databricks (обязательно)

• Unity Catalog: опыт работы в продакшене с управлением несколькими каталогами, проектированием метастора и отслеживанием происхождения данных.
• Структурирование данных: опыт проектирования и создания единых схем для нескольких разрозненных продуктовых линий.
• Delta Lake: экспертный уровень владения Z-ordering, компактизацией, жидкой кластеризацией и настройкой производительности на уровне многотерабайтных данных.
• Delta Live Tables: сильный практический опыт создания декларативных ETL-конвейеров, включая захват изменений данных и ожидания/ограничения.
• Рабочие процессы Databricks: опыт оркестрации заданий, планирования и операционного мониторинга.
• Бизнес-аналитика: опыт обеспечения аналитики и отчетности на уровне всей компании с использованием современных инструментов бизнес-аналитики и поддержания источника достоверных данных и метрик.
• PySpark и Databricks SQL: высокая компетентность для ревью кода, настройки производительности и оптимизации запросов.

 

Основная инженерия платформы

• 5-8 лет в инженерии данных или ролях, связанных с платформами данных, из них 3+ года практического опыта с Databricks.
• Опыт руководства как минимум одним значительным проектом по созданию или миграции платформы.
• Опыт работы с AWS (S3, IAM, VPC) и способность сотрудничать при принятии инфраструктурных решений.
• Опыт работы с инфраструктурой как кодом (предпочтительно Terraform).

 

Техническое лидерство

• Доказанная способность проектировать платформы данных с нуля и обосновывать технические решения.
• Сильные письменные и устные коммуникативные навыки — документирование архитектурных решений и презентация их как техническим, так и бизнес-стейкхолдерам.

 

Желательно, но не обязательно

• Опыт работы с финансовыми данными, бухгалтерскими системами (NetSuite) или корпоративными ERP-платформами.
• Опыт создания платформ, обслуживающих AI/ML-нагрузки (опыт подготовки данных для последующего ML-потребления, RAG и retrieval, а также LLM).
• Понимание продвинутых концепций интеллекта, таких как выявление связей с помощью графов знаний.
• Знакомство с фреймворками управления данными и требованиями соответствия для регулируемых отраслей.

 

 

 

Что мы предлагаем:
(Следующее применимо только к позициям в США)

• Культура командного сотрудничества с возможностями для карьерного роста.
• Широкие возможности для признания, развития ценных навыков и карьерного роста.
• Щедрая политика отпусков, включая оплачиваемый отпуск по уходу за ребенком.
• Комплексные планы медицинского страхования с опциями FSA и HSA.
• Пенсионный план 401(k).
• Страхование жизни и от инвалидности.
• Дополнительные льготы, такие как сберегательный план по уходу за иждивенцами, страхование домашних животных, подготовка завещаний и программа поддержки сотрудников.

 

О нас:

Exactera — финтех SaaS стартап, основанный в 2016 году, мы стоим на пересечении человеческого и машинного интеллекта. Наши корпоративные налоговые решения работают на базе ИИ и облачных технологий, обслуживая клиентов по всему миру. С более чем 100 миллионами долларов финансирования от Savant Venture Fund и Insight Partners, мы готовы к росту. Мы привержены разнообразию, инклюзивности и равным возможностям для всех.