Привет! Ищем Data Engineer в регулируемую OTC crypto-платформу, работающую под лицензией VARA.
Нужен специалист, который сможет с нуля построить современную инфраструктуру для хранения, моделирования и использования транзакционных данных. Важная часть роли — создание безопасного AI-слоя, в котором каждый сотрудник получает доступ только к разрешённой ему информации.
Зона ответственности:
- Проектирование и развитие корпоративного хранилища транзакционных и операционных данных.
- Построение архитектуры, объединяющей классический MPP-warehouse и современный lakehouse.
- Разработка моделей данных, инкрементальных пайплайнов и процессов обработки больших объёмов информации.
- Создание надёжного слоя доступа к данным с учётом ролей, прав пользователей и требований безопасности.
- Разработка и внедрение прикладных AI-решений на базе LLM: RAG, AI-агентов и tool-use сценариев.
- Организация eval-процессов, мониторинга качества и контроля рисков AI-систем.
- Выбор технологического стека и участие в принятии ключевых архитектурных решений.
- Обеспечение качества, наблюдаемости и отказоустойчивости data-платформы.
- Подготовка инфраструктуры к внешним аудитам и работе с регулируемыми данными.
Требования:
- Опыт работы Data Engineer и самостоятельного проектирования data-инфраструктуры.
- Уверенное знание SQL и опыт работы со сложными моделями данных.
- Практический опыт с MPP-хранилищами и архитектурой Data Warehouse.
- Опыт работы с lakehouse-подходом, Delta Lake или Apache Iceberg.
- Понимание ACID-транзакций поверх объектного хранилища, каталогов данных и инкрементальной обработки.
- Опыт разработки и запуска data pipelines в production.
- Практический опыт внедрения LLM-решений: RAG, AI-агентов, tool-use или аналогичных сценариев.
- Понимание принципов безопасного разграничения доступа к данным на уровне источника и пользователя.
- Английский от B2 для работы с документацией, аудиторами и внешними партнерами.
Условия:
- Возможность построить data- и AI-инфраструктуру с нуля.
- Конкурентный фиксированный оклад, обсуждается индивидуально.
- Удаленный формат работы с возможностью последующей релокации в ОАЭ.
- Небольшая senior-команда, высокая степень самостоятельности и минимум бюрократии.
