Стажёр-исследователь: линейное внимание и рекуррентные архитектуры LLM

05 ноября 2026 • г Москва • ПАО Сбербанк • Информационные технологии:Программист, разработчик

можно без опыта

Обязанности

• Разбирать свежие статьи и выбирать перспективные идеи для экспериментов.
• Реализовывать и менять линейные и рекуррентные блоки языковых моделей.
• Сравнивать качество, скорость и расход памяти при сопоставимом бюджете вычислений.
• Проводить абляции и выяснять, какие изменения стоит масштабировать.

Требования

• Уверенное владение Python и PyTorch.
• Знакомство с распределённым обучением.
• Понимание глубокого обучения и устройства Transformer.
• Умение читать статьи, формулировать гипотезы и проверять их экспериментально.

Будет плюсом

• Собственный исследовательский проект.
• Опыт обучения языковых моделей, работы с линейным вниманием или state-space моделями.
• Опыт с CUDA, Triton или оптимизацией GPU-вычислений.