Технологии/инструменты
- Python
- C++
- REST/gRPC
- Kafka
Наш клиент — одна из крупнейших международных трейдинговых компаний, представленная в России (команда более 350 специалистов) и за рубежом — в ключевых деловых центрах, включая Дубай, Гонконг, Сингапур и Стамбул.
Сейчас мы находимся в поиске Data Engineer.
Основные обязанности
- Разработка и внедрение методологии, процессов и процедур Data Governance.
- Внедрение процессов контроля качества данных, версионирования и управления Data Quality инцидентами.
- Поиск, подготовка и мониторинг качества данных для моделирования и ML, участие в процессе внедрения и сопровождения моделей.
- Подготовка отчетов, заключений по результатам анализа данных.
Требования
- Знание математической статистики и методов анализа данных, теории баз данных, управления требованиями, процесса разработки ПО.
- Опыт работы с процессами и инструментами обеспечения качества данных.
- Понимание жизненного цикла данных, происхождения данных (Data Lineage).
- Понимание моделей данных.
- Знание подходов к обработке и хранению данных (Data Lake, Data Mesh).
- Понимание способов моделирования систем класса DWH и компонентов платформы данных.
- Python, C++, ML frameworks — знание методов, алгоритмов ML/DL.
- FastAPI для высоконагруженных REST/gRPC-сервисов, Airflow, Kafka, Spark.
- Векторные базы Qdrant, Milvus, Weaviate — подготовка и обслуживание векторных индексов.
- SentenceTransformers для векторных представлений.
Дополнительно
- Практический опыт создания продуктов на базе LLM, RAG.
- Проектирование и оптимизация БД.
- Проектирование схемы данных и оптимизации запросов.
Условия работы
- В период испытательного срока — гибридный формат работы.
- После успешного прохождения испытательного срока — удалённый формат работы.
