Старший инженер по обработке данных

Avenga — международная инженерная компания, помогающая бизнесу работать с искусственным интеллектом в основе. С более чем 6000 экспертами по всему миру мы объединяем инженерный опыт с мышлением, ориентированным на ИИ, чтобы превращать амбициозные идеи в реальное воздействие в различных отраслях, технологиях и рынках.

В основе роли

Мы ищем старшего инженера данных с опытом работы с Databricks для присоединения к нашей команде. Наш клиент — одна из крупнейших государственных энергетических компаний и ведущий производитель и поставщик электроэнергии и тепла в Европе.

В качестве старшего инженера данных вы будете участвовать в установлении стандартов, разработке руководящих принципов и обмене лучшими практиками для обеспечения непрерывного обучения и развития.

Основные навыки, которые вы принесёте

• Более 5 лет опыта работы инженером данных

• Опыт разработки приложений Databricks с использованием React, Node.js, Python, Streamlit или аналогичных технологий

• Опыт интеграции с Unity Catalog API и сервисами метаданных

• Подтверждённый опыт реализации OAuth, Microsoft Entra ID, SSO, RBAC и авторизации на основе групп

• Опыт проектирования корпоративных веб-приложений, поддерживающих большие группы пользователей

• Глубокие знания Databricks SQL, Serverless SQL, Jobs, архитектуры Lakehouse и управления

• Знакомство с интеграцией внешних систем через REST API

• Опыт работы с CI/CD, Git и Azure DevOps или GitHub Actions

• Английский — уровень выше среднего или выше

Желательно иметь

• Опыт работы с паттернами интеграции MCP / JSON-RPC

• Знакомство с Databricks Genie и Genie Ontology

• Знание Unity Gateway или сопоставимых паттернов управляемого доступа к данным

Влияние, которое вы создадите

• Проектирование и разработка приложения Enterprise Data Catalog, включая фронтенд и бэкенд компоненты

• Интеграция приложения с Unity Catalog API, сервисами Databricks, источниками метаданных и внешними системами

• Реализация безопасной аутентификации, SSO, авторизации на основе ролей и групп, а также доступа к данным в контексте пользователя

• Проектирование высокопроизводительного поиска метаданных, кэширования и индексирования для большой базы пользователей

• Внедрение CI/CD, автоматизированного тестирования, аудита логов, мониторинга и наблюдаемости приложения

• Поддержка развертывания, обзоров безопасности и архитектуры, устранение неполадок и оптимизация производительности

• Создание поддерживаемого кода, конфигураций и технической документации, а также передача знаний

Люди — в центре внимания Avenga. Мы предоставляем равные возможности независимо от расы, этнической принадлежности, гендерной идентичности, сексуальной ориентации, инвалидности, возраста, религии или любых других характеристик. Мы стремимся к уважительной среде, где каждый может быть собой, делиться своими идеями и чувствовать свою принадлежность.