О нас
CPS.ai — это неформальная обстановка, крутые ИТ-проекты в области Big Data и решения, конкурирующие с лидерами рынка!
Наша команда растёт и мы ищем Data Engineer, которые помогут команде спроектировать новый функционал и модернизировать действующие системы на крупном проекте.
BigData + Machine Learning + HighLoad > Это про нас)
Тебя ждёт: Ты любишь разбираться в сложных потоках данных, строить архитектуру, где всё работает быстро и надёжно? Хочешь поработать над масштабным проектом, где твои решения будут влиять на будущее цифровых сервисов? Тогда тебе к нам! Мы строим современный data lakehouse, и твоя экспертиза станет ключевой частью этого процесса.
Твои задачи:
- Проектирование и разработка производительных ETL-процессов: от загрузки XML-источников до хранения в Parquet (S3) и последующей трансформации в реляционные структуры
- Нормализация, дедупликация и идентификация "золотых" записей в данных
- Работа с обезличенными семплами данных на удалённом стенде в Яндекс Облаке
- Перенос и внедрение решений в закрытый контур заказчика
- Оптимизация потоков данных для высокой производительности и масштабируемости
- Взаимодействие с командой аналитиков, разработчиков и архитекторами
- Документирование решений и поддержка процессов передачи знаний
Требования:
- Опыт работы Data Engineer от 1 года
- Уверенное владение Python и инструментами для обработки данных (pandas, pyarrow и др.)
- Опыт построения ETL/ELT-процессов, желательно с использованием Airflow
- Знание принципов работы с S3, Parquet, реляционными БД (PostgreSQL и др.)
- Навыки работы с XML: парсинг, трансформация, валидация
- Понимание принципов нормализации данных, дедупликации, поиска "золотых" записей
- Опыт работы с облачными платформами (Яндекс Облако, AWS и др.)
- Готовность подписать NDA и работать с обезличенными данными
- Умение работать в команде, самостоятельность, ответственность
Бенефиты:
Минусы:
- Очень много интересных и сложных задач)))
- Будут спрашивать результаты работы
Готов создавать вместе с нами сервисы будущего?
Готов брать на себя ответственность за сложные вызовы?
Если да, ждём твоё резюме, рады будем видеть тебя в команде!
