Архитектор инфраструктуры инференса (удалённо)

О компании Telnyx

Telnyx — лидер отрасли, который не просто представляет будущее глобальной связи — мы его создаём. От проектирования и расширения охвата частной, глобальной, мультиоблачной IP-сети до предоставления гиперлокальных edge технологий прямо у вас под рукой через интуитивно понятные API, мы формируем новую эру бесшовного взаимодействия между людьми, устройствами и приложениями.

Нас движет желание трансформировать и модернизировать устаревшее, автоматизировать ручные процессы и решать реальные задачи с помощью инновационных решений в области связи. В подтверждение нашего успеха мы гордимся тем, что являемся финансово стабильной и прибыльной компанией. Наша высокая прибыльность позволяет нам не только инвестировать в передовые технологии, но и создавать среду для постоянного обучения и развития нашей команды.

Наша общая цель — мир, где безграничная связь стимулирует неограниченные инновации. Присоединившись к нам, вы сможете стать частью создания основ этого взаимосвязанного будущего. В настоящее время мы ищем увлечённых специалистов, которые рады возможности внести вклад в компанию, формирующую отрасль, и развивать свои навыки и карьеру.

Архитектор инфраструктуры вывода (Inference Infrastructure Architect)
Старший / ведущий · Удалённо — материковый Китай · Основатель команды в Китае

Telnyx управляет собственным парком B300 — нашим оборудованием, в наших дата-центрах, с полным контролем от железа и с глобальным расширением. Эта роль существует для того, чтобы превратить этот парк в полезную пропускную способность: трафик собственных AI-агентов Telnyx в голосовой и мессенджерной сети, а также вывод моделей для внешних клиентов за токен-гейтвеем, выделенные развертывания и настроенные модели.

У вас есть две задачи:

1. Эффективно эксплуатировать и расширять парк. Максимизировать полезную пропускную способность вывода на каждый доллар GPU, соблюдая SLO по задержкам и надёжности, и постоянно снижать стоимость за токен.
2. Обеспечить работу продукта на этой инфраструктуре. Безсерверный вывод для каталога с открытыми весами и выделенные, настроенные развертывания моделей для корпоративных клиентов.

Стек открыт, от bare metal до совместимого с OpenAI эндпоинта. Вы работаете с верхними слоями этого стека.

Что вы будете создавать

• Безсерверные пулы обслуживания. Движки vLLM / SGLang с непрерывной пакетной обработкой, кэшированием префиксов, обслуживанием с низкой точностью (FP8, FP4, INT4) и параллелизмом MoE экспертов, обслуживающие вершину каталога с открытыми весами в мультиарендной среде.
• Слой парка. llm-d / NVIDIA Dynamo на Kubernetes Gateway API: маршрутизация с учётом KV-кэша, разделение этапов prefill/decode, уровни KV (Mooncake), и мульти-LoRA обслуживание, чтобы сотни адаптеров клиентов могли использовать один базовый пул.
• Платформа под этим. Kubernetes на bare metal: GPU Operator, планирование с учётом топологии, LeaderWorkerSet, Kueue; Kata Containers для изолированных выделенных арендаторов; жизненный цикл bare-metal с OpenStack Ironic.
• Логистика весов и эластичность. P2P распределение моделей (Dragonfly, потоковая передача safetensors), тёплые пулы и автоскейлинг, основанный на метриках вывода — глубина очереди, заполненность KV, TTFT — никогда не CPU.
• Выделенный уровень. Пулы на арендатора, учёт GPU-часов, SLO по задержкам, приватные сети; и сторона обслуживания цикла настройки модели: версионирование адаптеров, канареечный релиз, откат при ухудшении результатов.
• Наблюдаемость и экономика. Метрики DCGM и движков в Prometheus / OpenTelemetry; планирование ёмкости, основанное на математике roofline — декодирование, ограниченное пропускной способностью, кривые пакетной обработки, использование ресурсов против стоимости за токен.

Стек, с которым вы будете работать

Часть из этого — заданное направление: Kubernetes на bare metal, vLLM / SGLang, совместимый с OpenAI эндпоинт. Большую часть остального вы будете оценивать самостоятельно. Вы будете выбирать, тестировать и интегрировать компоненты, которые заслужат место в продакшене. Мы ценим глубину знаний в основном стеке обслуживания и здравое архитектурное мышление, а не опыт со всеми перечисленными проектами.

• Движки: vLLM · SGLang
• Методы обслуживания: разделение prefill/decode · широкий экспертный параллелизм · спекулятивное декодирование (MTP, EAGLE-3) · низкая точность (FP8, FP4, INT4)
• Библиотеки MoE и внимания: DeepEP · DeepGEMM · EPLB · FlashMLA
• Маршрутизация и обслуживание: llm-d · NVIDIA Dynamo · Kubernetes Gateway API · Envoy · Ray Serve / KubeRay
• KV-кэш и веса: Mooncake · HiCache · 3FS · Dragonfly
• Планирование и совместное использование GPU: Kubernetes · Volcano · Kueue · LeaderWorkerSet · HAMi
• Изоляция и bare metal: Kata Containers · OpenStack Ironic · NVIDIA GPU Operator
• Наблюдаемость: Prometheus · Grafana · DCGM · OpenTelemetry

Что мы ищем

• Вы управляли продакшеном LLM-обслуживания под значительной нагрузкой и с ограничениями по задержкам, и можете объяснить архитектуру, выявленные узкие места, внесённые изменения и достигнутые улучшения в задержках, надёжности или стоимости. Масштаб в тысячи GPU или миллионы запросов в день — сильный плюс, но не обязательное требование.
• Опыт работы с Kubernetes на GPU-парках, полный цикл эксплуатации: GPU Operator, device plugins, node pools и планирование с учётом топологии, gang scheduling (LeaderWorkerSet, Kueue), GitOps релизы и умение отлаживать, почему под запущен именно на этом узле.
• Глубокое владение vLLM или SGLang: развертывание, настройка и обновление (параллелизм TP / EP, квантизация, настройки пакетов и KV-кэша, кэширование префиксов, разделение этапов), и понимание, как изменение параметров влияет на метрики.
• Инженерия производительности на системном уровне: вы читаете метрики движка и DCGM, рассуждаете с помощью roofline модели и оцениваете размеры развертываний численно.
• Python и Go для автоматизации; глубокие знания Linux, сетей и хранения данных. Вам не нужно писать CUDA, но нужно понимать, когда проблема связана с CUDA, и направлять её дальше.
• Вы работаете с сообществом на английском и китайском языках, и пишете руководства и проектную документацию, которую действительно читают.

Особенно ценим опыт

• Эксплуатация платформ вывода на уровне Ant Group, Alibaba Cloud / PAI, Tencent, ByteDance, Baidu, Huawei, DaoCloud, Moonshot, DeepSeek или аналогичных команд.
• Участие в разработке или активное использование в продакшене любого из: vLLM, SGLang, llm-d, NVIDIA Dynamo, Ray / KubeRay, Kata Containers, Volcano, Kueue, HAMi, Dragonfly, Mooncake, Envoy.
• Активность в сообществе CNCF / OpenInfra: выступления на KubeCon China, OpenInfra Days, митапах vLLM или SGLang.

Желательно

• Инфраструктура для тонкой настройки / RL: пайплайны LoRA, системы оценки, канареечные релизы champion/challenger.
• Работа с задержками в реальном времени для голосовых вызовов: бюджеты времени до первого токена менее секунды на живых звонках.
• Мульти-региональные развертывания и требования к локализации данных.

Что мы предлагаем

• Новейшее оборудование, наше собственное от железа и выше. Глобально расширяющийся парк B300, который Telnyx строит и эксплуатирует полностью самостоятельно. Примените свой опыт оптимизации сложных производственных нагрузок в парке, где вы формируете архитектуру от bare metal до клиентского эндпоинта.
• Владейте платформой, стройте команду. Зеленое поле для платформы вывода, где вы задаёте образец, которому следуют другие. Как основатель команды в Китае, вы также участвуете в выборе новых членов и организации работы команды.
• Открытый исходный код в приоритете. Вклад в upstream — часть работы, поддерживается участие в конференциях.
• Базируемся в материковом Китае, переезд не требуется. Вы работаете удалённо с глобальной, асинхронной командой. Если захотите переехать, у нас есть юридические лица в Нидерландах, США, Ирландии и Саудовской Аравии, и мы спонсируем визы.

При подаче заявки

Включите краткое описание системы вывода, которую вы лично улучшали: узкое место, ваше вмешательство и измеренный результат. Анонимный пример приветствуется.