Мы строим DataPlatfrom и AI-инфраструктуру, в которой инженеры, аналитики и разработчики смогут использовать современные подходы Retrieval-Augmented Generation (RAG) без боли и ручных костылей.
Наша цель — сделать RAG таким же привычным компонентом платформы, как SQL, Spark или CI/CD.
Для этого мы ищем Platform Data Engineer, который поможет сформировать и стандартизировать RAG-pipeline — от загрузки данных и чанкирования до метрик качества и retrival-механизмов. Дополнительным вызовом будет создание агентов для целей Data Platform используя RAG.
⚙️ Задачи:
- Проектировать и внедрять RAG-пайплайны уровня платформы: ingestion данных, чанкирование, эмбеддинги, retrival, оценка качества ответов.
- Исследовать SOTA-методы RAG (chunking, reranking, hybrid retrival, eval frameworks — RAGAS, TruLens, Langfuse, etc.) и адаптировать их под инфраструктуру Data / Dev Platform.
- Создавать reusable компоненты (Python-библиотеки, API, Helm-чарты, шаблоны пайплайнов) для команд-потребителей.
- Встраивать RAG в экосистему платформы: от self-service интерфейсов до observability и developer experience.
- Разрабатывать метрики качества и мониторинг RAG-решений: faithfulness, groundedness, latency, coverage.
- Агрегировать и распространять практики подготовки данных для использования в RAG.
- Участвовать в воркшопах и кодлабах, обучать команды применению AI в продакшене.
🧩 Требования:
- Уверенные знания Python, SQL.
- Понимание архитектуры RAG-систем.
- Опыт работы с LLM и embeddings — OpenAI, Gemini, Mistral.
- Опыт работы с Docker, Git, Linux, Bash, знание CI/CD.
- Понимание общих принципов устройства СУБД (реляционных + NoSQL).
- Знание подходов по организации ETL-процессов, инструментов построения ETL.
🧩 Будет плюсом:
- Практический опыт с векторными БД (Milvus, Qdrant, FAISS, Chroma).
- Понимание ML evaluation и метрик RAG-решений.
- Опыт с LangChain / LlamaIndex .
- Опыт построения retrival-и-eval pipelines в проде.
- Знание Trino / ClickHouse / Greenplum / Spark — как источников данных.
- Понимание принципов System Design / архитектуры ML-платформ.
