Старший дата-инженер

Кто мы:

Alpaca — глобальный лидер с штаб-квартирой в США в области брокерской инфраструктуры, ориентированной на агентов, для акций, ETF, опционов, криптовалюты, инструментов с фиксированной доходностью, торговли 24/5 и не только.

Среди наших дочерних компаний Alpaca — лицензированная финансовая организация, обслуживающая сотни финансовых институтов в 40 странах с помощью наших API институционального уровня. В их числе брокер-дилеры, инвестиционные консультанты, управляющие благосостоянием, хедж-фонды и криптобиржи — в совокупности более 10 миллионов брокерских счетов.

Наша глобальная команда — это разнообразный коллектив опытных инженеров, трейдеров и специалистов по брокерскому делу, которые работают над выполнением нашей миссии: открыть финансовые услуги каждому человеку на планете. Мы глубоко привержены вкладу в open-source и развитию живого сообщества, постоянно совершенствуя наш отмеченный наградами, удобный для разработчиков API и надёжную инфраструктуру, которая за ним стоит.

Alpaca с гордостью поддерживается финансированием в размере 400 миллионов долларов от ведущих мировых инвесторов, включая Portage Ventures, Spark Capital, Tribe Capital, Social Leverage, Horizons Ventures, Opera Tech Ventures, SBI Group, Derayah Financial, Unbound, Peak XV, Elefund и Y Combinator.

Наши сотрудники:

Мы — динамичная команда из 400+ распределённых по всему миру сотрудников, которые с удовольствием работают из любимых мест по всему миру; наши коллеги находятся в США, Канаде, Японии, Венгрии, Нигерии, Бразилии, Великобритании и не только!

Мы ищем увлечённых людей, готовых внести вклад в стремительный рост Alpaca. Если вы разделяете наши ключевые ценности — Stay Curious (оставайтесь любознательными), Have Empathy (проявляйте эмпатию) и Be Accountable (берите на себя ответственность) — и готовы оказать значительное влияние, мы приглашаем вас откликнуться.

Ваша роль: Мы ищем Senior Data Engineer, который поможет спроектировать и построить следующее поколение нашей платформы данных по мере того, как мы продолжаем масштабироваться для более крупных клиентов и новых юрисдикций. В Alpaca Data Engineering охватывает финансовые транзакции, данные клиентов, логи API, системные метрики, обогащённые данные и сторонние системы, которые влияют на принятие решений как внутренними, так и внешними заинтересованными сторонами. Мы обрабатываем сотни миллионов событий ежедневно, и это число продолжает расти по мере подключения новых клиентов и продуктов. 

Мы отдаём приоритет open-source технологиям в нашем стеке данных, используя Google Cloud Platform (GCP) как основу нашей инфраструктуры данных. Это охватывает пакетную и потоковую загрузку, трансформацию и слои потребления для BI/отчётности, AI/агентных интерфейсов (MCP) и внешних сторонних приёмников. Мы также отвечаем за эксперименты с данными, каталогизацию и системы мониторинга/алертинга. 

Наша команда на 100% распределённая и удалённая. 

Обязанности:

• Проектировать, создавать и развивать инфраструктуру основной платформы данных, например распределённые движки запросов, оркестрацию, хранилища, каталогизацию и многое другое. 
• Владеть инфраструктурой lakehouse как кодом, управляя развёртываниями через Terraform и Ansible на Kubernetes. 
• Создавать и поддерживать низколатентные потоковые пайплайны и пайплайны CDC-загрузки, а также пути пакетной загрузки с сохранением в Iceberg. 
• Развивать и масштабировать наш BI-ландшафт, чтобы downstream-команды и агенты получали производительный self-serve доступ к данным lakehouse. 
• Внедрять лучшие практики надёжности платформы, включая мониторинг и алертинг, дежурства on-call, реагирование на инциденты, окна обслуживания, runbook'и и SLA. 
• Сотрудничать с DevOps, Analytics Engineering и другими заинтересованными сторонами, чтобы закрывать пробелы в инфраструктуре и поддерживать новые требования к данным.

Обязательные требования:

• 5+ лет опыта в Data Engineering, включая 2+ года создания и эксплуатации масштабируемых низколатентных платформ данных, обрабатывающих > 100M событий в день.
• Сильный практический опыт эксплуатации инфраструктуры данных на Kubernetes с cloud-native инструментами, такими как Docker и Helm.
• Продакшен-опыт с IaC: Terraform, Ansible и ArgoCD (или их эквивалентами).
• Глубокое знание распределённых систем (хранение, транзакции и обработка запросов) с практическим опытом эксплуатации open-source движков запросов, таких как Trino или Presto.
• Сильный опыт работы с объектным хранилищем и открытыми табличными форматами, в частности Apache Iceberg.
• Опыт работы с потоковыми системами и системами CDC: Kafka, Redpanda и Debezium.
• Практический опыт работы с фреймворками оркестрации (Airflow) и инструментами ELT (Airbyte).
• Уверенное владение Python и SQL для построения пайплайнов и инструментария платформы. 
• Опыт работы с Google Cloud Platform и её сервисами данных (GCS, Cloud Build, Cloud SQL, Dataproc и др.); либо сопоставимый опыт с другими облачными сервисами. 
• Способность эффективно работать в динамичной стартап-среде и адаптировать инфраструктуру под быстро меняющиеся потребности.

 Будет плюсом:

• Опыт работы с семантическими/метрическими слоями (Cube, dbt, Looker).
• Знакомство с фреймворками трансформации (dbt).
• Знакомство с инструментами reverse ETL (Hightouch)
• Знакомство с инструментами каталогизации данных и lineage (OpenMetadata, Datahub)
• Опыт работы с фреймворками контроля доступа к данным и управления (Apache Ranger)

Как мы заботимся о вас:

• Конкурентная зарплата и опционы
• Медицинская страховка
• Обустройство домашнего офиса для новых сотрудников: единоразовая выплата 500 долларов США
• Ежемесячная компенсация: 150 долларов США в месяц через карту Brex

Alpaca с гордостью является работодателем равных возможностей, стремящимся привлекать и нанимать разнообразную команду.

Политика конфиденциальности при найме