Старший инженер по данным
Тель-Авив, Израиль
Почему стоит работать в Nebius Nebius возглавляет новую эру в облачных вычислениях для обслуживания глобальной экономики ИИ. Мы создаём инструменты и ресурсы, необходимые нашим клиентам для решения реальных задач и трансформации отраслей, без огромных затрат на инфраструктуру или необходимости создавать большие внутренние команды по ИИ/МО. Наши сотрудники работают на переднем крае облачной инфраструктуры ИИ вместе с одними из самых опытных и инновационных лидеров и инженеров в этой области.
Где мы работаем Штаб-квартира находится в Амстердаме, компания котируется на Nasdaq, Nebius имеет глобальное присутствие с исследовательскими и разработческими центрами по всей Европе, Северной Америке и Израилю. Команда из более чем 800 сотрудников включает более 400 высококвалифицированных инженеров с глубокими знаниями в аппаратном и программном обеспечении, а также внутреннюю команду по исследованию и разработке ИИ.
Мы нанимаем старшего инженера по данным, основная ответственность которого — создание и сопровождение конвейеров данных.
Это практическая роль инженера по данным, сосредоточенная на проектировании, реализации и поддержке надёжных потоков данных для аналитики и машинного обучения. Инфраструктура, облако и Kubernetes используются только как инструменты для надёжного и экономичного запуска конвейеров — это не роль SRE или инженера платформы.
Что вы будете делать
Основные обязанности (главный фокус)
- Проектировать, создавать и сопровождать производственные конвейеры данных с использованием Python и SQL.
- Разрабатывать статeless, идемпотентные конвейеры, устойчивые к повторным попыткам, сбоям и перебоям в инфраструктуре.
- Реализовывать преобразования данных, валидацию и проверки качества данных.
- Оптимизировать конвейеры по производительности, надёжности и экономичности.
- Тесно сотрудничать с командами аналитики, науки о данных и машинного обучения для предоставления надёжных наборов данных.
Поддерживающая инфраструктура (вторичный фокус)
- Оркестрировать конвейеры с помощью фреймворка оркестрации рабочих процессов (например, Airflow или аналогичного).
- Упаковывать и запускать рабочие нагрузки с данными с использованием Docker и развёртывать их на Kubernetes.
- Использовать автоскейлинг и Spot / Preemptible вычисления для эффективного выполнения конвейеров.
- Создавать автоматизацию CI/CD для конвейеров данных.
- Использовать Infrastructure as Code только для развертывания и управления инфраструктурой, необходимой для запуска конвейеров.
Опыт и навыки
- Более 8 лет опыта работы инженером по данным, преимущественно с созданием конвейеров данных.
- Более 6 лет практического опыта с Python и SQL.
- Более 3 лет опыта запуска рабочих нагрузок на Kubernetes.
- Глубокое понимание проектирования stateless систем и идемпотентной обработки данных.
- Опыт создания и эксплуатации конвейеров данных в облачных средах.
- Опыт работы с фреймворками оркестрации рабочих процессов.
- Хорошие базовые знания Linux и навыки отладки в продакшене.
Желательно
- Опыт участия в разработке или активного использования open-source программного обеспечения.
- Опыт создания конвейеров данных с использованием Apache Spark или аналогичных распределённых фреймворков обработки.
- Опыт создания конвейеров данных, поддерживающих рабочие процессы машинного обучения.
- Знакомство с оптимизированной по стоимости обработкой данных (например, Spot / Preemptible вычисления).
- Опыт работы с реляционными и нереляционными хранилищами данных.
- Опыт работы с крупномасштабными или высоконадежными системами данных.
- Опыт сотрудничества с сильными командами науки о данных и машинного обучения.
Что мы предлагаем
- Конкурентоспособную зарплату и полный пакет социальных льгот.
- Возможности профессионального роста внутри Nebius.
- Гибкие условия работы.
- Динамичную и совместную рабочую среду, которая ценит инициативу и инновации.
Мы растём и ежедневно расширяем наши продукты. Если вы готовы к вызову и так же увлечены ИИ и МО, как и мы, присоединяйтесь к нам!
