Data Engineer (команда Data Lake)

Привет! Мы ATI.SU ― экосистема цифровых сервисов для логистики и биржа грузов и транспорта, которой пользуются почти полмиллиона пользователей из России и СНГ. Помогаем грузоотправителям и перевозчикам находить друг друга, отслеживать грузы и переводить свои процессы в «цифру».

Ежедневно справляемся с нагрузкой в сотни миллионов запросов от сотен тысяч пользователей.

Несмотря на 30-летнюю историю, налаженные процессы и большую команду из 400+ человек, мы сохранили гибкость и скорость принятия решений.

Кому понравится у нас?

• Тем, кто любит разнообразие в задачах и хочет не просто писать код, а разбираться в сложных процессах;
• Тем, кто хочет развиваться и расти в крутой команде единомышленников;
• Тем, кто хочет влиять на качество продукта и видеть реальные результаты своей работы.

Наш технический стек:

• Backend: Python, FastAPI;
• Хранение данных: CliсkHouse, PostgreSQL;
• CI/CD: Docker, Gitlab CI;
• Очереди: RabbitMQ;
• Мониторинг: Sentry, ELK, Prometheus, Grafana;
• ETL: Airflow.

Чем предстоит заниматься:

• Разрабатывать и поддерживать ETL-пайплайны в Airflow: DAG для обработки терабайтов данных;
• Проектировать и реализовывать backend-сервисы на FastAPI: асинхронные API-эндпоинты для аналитики, валидация данных (Pydantic) и обработка очередей;
• Писать код на Python 3.11+: producer/consumer в RabbitMQ;
• Участвовать в code review, рефакторинге и оптимизации;
• Настраивать CI/CD: Docker-контейнеры, Gitlab CI пайплайны;
• Работать с базами данных: оптимизировать SQL-запросы в ClickHouse и PostgreSQL, мигрировать данные, обеспечивать data quality;
• Внедрять мониторинг: алерты в Sentry, метрики Prometheus/Grafana, логи ELK для ETL и сервисов.

Что мы ожидаем:

• Опыт работы инженером данных от 3 лет;
• Уверенное владение Python (3.11+) и Airflow;
• Опыт работы с CliсkHouse, PostgreSQL
• Опыт работы с асинхронным кодом;
• Навык проектирования и разработки бэкенда.

Что мы за это предлагаем:

• Работу в аккредитованной продуктовой IT-компании с возможностью оформления отсрочки от призыва;
• Гибридный формат работы с посещением комфортного офиса класса А дважды в неделю;
• ДМС со стоматологией и психологом, доплата больничных до оклада;
• Компенсацию питания: горячие обеды и здоровые перекусы в офисе;
• Профессиональное обучение за счёт компании и поездки на конференции;
• Постоянно пополняющуюся библиотеку с профлитературой;
• Комнаты отдыха с PlayStation, настольным теннисом и кикером, массажное кресло, пещеры для сна;
• Укомплектованный мини-спортзал, душевые, йога в офисе;
• Компенсацию спорта.