Мы ищем опытного инженера данных, который будет играть важную роль в построении и поддержке архитектуры хранения и обработки данных.
Если вы умеете работать с большими объемами информации, сложными системами и стремитесь к постоянному улучшению процессов - мы будем рады видеть вас в команде :)
Основные обязанности:
- Проектирование и реализация архитектуры хранилища данных (DWH), включая выбор технологий, схем моделирования и стратегий наполнения.
- Разработка и поддержка масштабируемых конвейеров обработки данных.
- Построение и оптимизация ETL/ELT-процессов.
- Использование DBT для построения моделей данных и трансформаций.
- Взаимодействие с аналитиками для понимания бизнес-требований и обеспечения качества данных.
- Сотрудничество с архитектурным центром экспертизы для согласования решений и соблюдения стандартов.
- Управление метаданными, схемами и моделями данных.
- Участие в agile-процессах (работаем по SAFe) и совместная работа с другими командами.
Требования:
- Глубокое знание и практический опыт работы с ClickHouse.
- Опыт работы с Apache Airflow для оркестрации процессов.
- Уверенное владение Python для разработки data pipeline'ов.
- Знание принципов построения DWH и OLAP-систем.
- Практический опыт работы с Apache Spark и Kafka.
Будет плюсом:
- Навыки оптимизации производительности обработки данных.
- Опыт внедрения best practices в области качества и доступности данных.
- Участие в проектах по построению хранилищ данных с нуля или миграции существующих решений.
- Понимание принципов data governance, включая управление доступом, каталогизацию и lineage.
- Опыт работы с BI-инструментами (например, Tableau, Power BI, Superset) и поддержка аналитиков в построении витрин данных.
- Знание принципов Data Mesh или Data Lakehouse архитектур.
- Умение документировать архитектурные решения и технические процессы.
- Опыт проведения ревью моделей данных и ETL-логики.
- Владение SQL на продвинутом уровне, включая написание сложных запросов и оптимизацию.
Мы предлагаем:
