Дата-Инженер (Разработчик SQL)
В кластере генеративных рекомендаций мы строим индивидуальные клиентские сценарии на стыке больших данных, истории общения и генеративного ИИ.
Конкретно наша команда «Центр коммуникаций» извлекает знания из эпизодов общения с клиентами (транскрибированные записи переговоров, чаты переписок, общение с AI‑помощником и т.д.). Вызовом для нас стал проект реализации для кластера единого, надежного и содержательного хранилища всех коммуникаций банка с клиентом. Это «источник правды», от которого зависит точность управленческих решений и персонализация сервиса.
Поэтому к нашим отлаженным процессам на LLM-инструментах добавляем надежные промышленные ETL-процессы. Для нас это узкое место – приходится привлекать Дата-Инженеров из других команд. Мы ищем того, кто возьмет SQL-разработку в свои руки и снимет это ограничение. Новому члену команды предстоит на основе ТЗ аналитиков создавать быстрый и надежный код для расчетов, грамотно организовывать хранение и обработку данных, обеспечивая бесперебойную поставку информации внутренним заказчикам как в промышленном, так и в лабораторном контуре.
Обязанности
- разработка витрин данных по техническим заданиям
- организация сбора и загрузки структурированных и неструктурированных данных из различных источников. Подготовка, очистка и предобработка данных
- оптимизация процессов обработки и хранения больших объемов информации
- написание и оптимизация сложных SQL-запросов
- разработка функций и хранимых процедур на PL/pgSQL
- разработка и поддержка DAG'ов (Directed Acyclic Graphs) в Apache Airflow для оркестрации и автоматизации регулярных ETL-процессов обновления данных
- работа на тестовых средах, участие в приемо-сдаточных испытаниях (ПСИ) и сопровождение вывода релизов в промышленную эксплуатацию
- обеспечение качества данных: настройка автоматических проверок целостности, консистентности и полноты загружаемой информации (Data Quality)
- работа в качестве третьей линии поддержки (3ЛС): поиск и устранение причин инцидентов и падений потоков обработки данных
- управление бэклогом задач: приоритизация доработок, коммуникация с аналитиками и разработчиками смежных команд.
Требования
- знание одного или нескольких диалектов SQL (структура хранения, написание продвинутых запросов, оптимизация), опыт создания/изменения объектов БД
- промышленный опыт работы с СУБД и хранилищами данных (GreenPlum, PostgreSQL, Elasticsearch и т.д.)
- опыт работы с системами контроля версий Git/Bitbucket;
- знание Python на базовом уровне.
Будет плюсом:
- опыт работы с Jira, Confluence
- опыт работы с оркестраторами (Apache Airflow, Dagster, Prefect) будет значительным преимуществом. Готовность освоить Airflow в короткий срок
- опыт проведения Code Review
- знание банковских продуктов корпоративного бизнеса.
Условия
Что мы предлагаем:
- удобный офис в СПб на ул. Уральской, дом 1 (с шатлами от метро)
- офисный формат работы
- регулярный пересмотр заработной платы и возможность получения годовой премии
- доступ к более чем 400 образовательным программам СберУниверситета
- программу адаптации и поддержку наставника на первых этапах работы
- расширенную медицинскую страховку (ДМС) и выгодные условия страхования для членов семьи
- ипотечные программы для сотрудников
- бесплатные подписки СберПрайм+ и бонусы партнёров
- вознаграждения за рекомендации кандидатов.
