Data Engineer

Мы строим собственную агентскую платформу корпоративного уровня — enterprise-аналог открытых агентских систем.
Ищем инженера, который возьмёт на себя ядро системы и будет развивать его, опираясь на актуальные исследования и production-практику.
Эта роль на стыке глубокой инженерии (производительное ядро) и работы с LLM/ML.

Стек: ClickHouse, SQL, LLM, ETL

Чем предстоит заниматься:

• Проектирование и развитие корпоративного DWH на ClickHouse: архитектура, модель данных, выбор движков таблиц (семейство MergeTree), партиционирование, шардирование, материализованные представления.
• Построение и поддержка ETL/ELT-пайплайнов загрузки данных из внешних систем-источников.
• Разработка системы стандартов на данные (data contracts): единые требования к структуре, форматам, типам и качеству данных, поступающих из источников.
• Создание и ведение каталога данных / data dictionary с детальным описанием структуры и бизнес-смысла каждого набора данных (метаданные, документация, семантический слой).
• Контроль качества данных: валидация, тесты на данные, мониторинг.
• Оптимизация производительности хранения и аналитических запросов.
• Проектирование и разработка агентского слоя (LLM-агентов) поверх данных DWH, закрывающего произвольные аналитические запросы пользователей (text-to-SQL / диалоговая аналитика).
• Интеграция LLM, разработка инструментов и функций для агентов, организация семантического слоя для корректной работы агентов с данными.
• Настройка процессов оценки и улучшения качества ответов агентов (evals).
• Настройка разграничения прав доступа к данным средствами СУБД: RBAC, row-level и column-level политики в ClickHouse.
• Документирование архитектуры и принятых решений.

Наши ожидания:

• Опыт в data-инжиниринге от ~4 лет, уровень Senior.
• Глубокий опыт работы с ClickHouse (или сильный опыт с другими OLAP/колоночными СУБД + готовность быстро войти в ClickHouse): движки таблиц, оптимизация.
• Опыт проектирования DWH с нуля, владение подходами к моделированию данных (Kimball / Data Vault / wide tables и т.п.).
• Уверенный SQL и навыки оптимизации запросов.
• Опыт построения ETL/ELT-пайплайнов (Airflow / dbt / аналоги).
• Python (или другой язык для дата-инжиниринга и интеграции с LLM).
• Практический опыт с LLM и построением агентов: агентские фреймворки (LangChain / LlamaIndex / аналоги), function/tool calling, RAG, text-to-SQL.
• Понимание подходов к управлению качеством данных и data governance / data contracts.
• Опыт настройки разграничения прав доступа в СУБД.

Будет большим преимуществом:

• Опыт с semantic / metrics layer.

• Опыт LLMOps и оценки качества агентов (evals, мониторинг).

• Опыт с инструментами каталогизации данных (DataHub / OpenMetadata / Amundsen).

• Опыт работы с большими объёмами данных и высоконагруженными системами.

• Официальное трудоустройство и полный пакет социальных льгот (ДМС, компенсация фитнеса/обучения/путешествий, скидки и бонусы от партнеров, специальные условия и тарифы на продукты «Финама»).

• Стабильную заработную плату и социальные гарантии, которые дают уверенность в настоящем и открывают перспективы в будущее.

• Возможность профессионального роста, обучения и постоянного развития в области digital-innovations вместе с дружной командой. Лучшие конференции и мастер-классы за счет компании.

• Участие в проектах, которые формируют цифровую трансформацию финансового сектора.

• Гибридный формат работы (2 дня офис). Комфортный офис в центре Москвы с зоной отдыха на крыше, кофе-поинтами с ароматным кофе, а также собственный тренажерный зал.

• Богатую корпоративную культуру: классные внутрикорпоративные мероприятия, сообщества по интересам, возможность проявлять свои творческие, спортивные, интеллектуальные, социальные интересы и участвовать в креативных проектах.