Бэкенд-разработчик в команду DWH в Финтех
Мы создаём масштабную и безопасную аналитическую платформу для работы с большими данными. Нам нужен бэкенд-разработчик, который поможет создавать DWH и приведёт нас к состоянию real time data.
Какие задачи вас ждут
- Разработка, масштабирование и миграция дата-платформы
Вам предстоит проектировать и развивать платформу на базе S3, Greenplum, Trino, Apache Airflow, Apache Spark, Yandex Cloud, готовить её к кратному росту объёмов данных, обеспечивать миграцию с Greenplum на Trino/S3 для снижения затрат и ускорения доступа к данным.
- Интеграция источников и управление загрузкой данных
Вы будете строить процессы выгрузки из реляционных СУБД, NoSQL, файловых хранилищ и Kafka, реализовывать стратегии загрузки (полную или инкрементальную с CDC, пакетную или потоковую обработку), работать со снепшотами, инкрементами, аудит-таблицами и CDC.
- Обеспечение надёжности и эффективности платформы
Вы будете обеспечивать отказоустойчивость, безопасность, производительность и масштабируемость сервисов и дата-пайплайнов в режиме 24/7, оптимизировать стоимость обработки данных и использования ресурсов, развёртывать инфраструктуру и проводить её мониторинг через CI/CD-пайплайны, сокращать объём ручных операций, создавать новые интеграции.
- Наблюдаемость, контроль качества и развитие инструментов
Предстоит создавать observability-платформу для DWH, которая поможет обеспечить мониторинг статусов сборки, качество данных, анализ Data lineage, логирование. Вы будете заниматься версионированием данных, тестировать пайплайны, развивать внутренние фреймворки и low-code-решения для загрузки и трансформации данных.
- Безопасность и организация разработки
Нужно будет обеспечить автоматическую выдачу и контроль прав доступа к инфраструктуре и данным, проводить аудит действий пользователей, создавать изолированные среды разработки, тестирования и предпрода с автоматизированным тестированием, выстраивать среду безопасной разработки и повышать надёжность решений.
Мы ждём, что вы
- занимались коммерческой бэкенд-разработкой от 4 лет
- разрабатывали высоконагруженные stateful-системы
Будет плюсом, если вы
- работали с чем-то из перечисленного: реляционными СУБД (PostgreSQL, Oracle), NoSQL СУБД (MongoDB), MPP-системами (Greenplum), S3-совместимыми хранилищами
- проектировали схемы данных, занимались партиционированием, шардированием, создавали эффективные индексы
- работали с Kafka или его аналогами
- разрабатывали пайплайны в Apache Airflow
- знали, как выполнять распределённую обработку на Apache Spark: Spark SQL, DataFrame
- умели работать с данными через Trino
- понимали принципы CDC (Change Data Capture) и работали с соответствующими инструментами или реализовывали CDC-паттерны собственными средствами
Бенефиты работы в Яндексе
Здоровье
Расширенная медицинская страховка начинает работать с первого месяца в Яндексе.
В неё входят:
- Базовые услуги
Плановая помощь и неотложная за рубежом, страхование от несчастных случаев для любителей активного отдыха и лечение критических заболеваний.
- Ментальное здоровье
Врачи в клиниках по ДМС, онлайн-консультации с психологами. А также психотерапия в офисах, где есть кабинет психотерапевта.
- Ежегодные чекапы
Мы за превентивную заботу о здоровье, поэтому по ДМС можно проходить чекапы и регулярно вакцинироваться.
- Больничный
30 дней в году оплачиваются — вы получите полную зарплату, как будто не болели.
- Стоматология
Плановые процедуры, профессиональная чистка и экстренная помощь за рубежом.
- Коррекция зрения
После года работы ДМС покрывает коррекцию зрения и хирургическое лечение косоглазия.
- Терапевты в офисах
Если почувствовали себя неважно, можно обратиться в кабинет врача-терапевта, такие есть во всех крупных офисах Яндекса.
- Ведение беременности и роды
Оплачиваем ведение беременности и роды для сотрудниц и жён сотрудников, которые с нами более двух лет.
Страховка для родственников по системе 80/20: мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%. В страховку входит всё то же самое, что и у вас.
Больше о бенефитах
Узнать больше
Все интересные вам вакансии в одном профиле
Войти и откликнуться
Посмотреть ещё
Финтех
Разработчик бэкенда Финтех