Задачи:

- обучение собственных gpt-like языковых моделей (QWEN, LLAMA и аналоги) с нуля;

- развитие и продолжение существующих экспериментов по обучению моделей;

- работа с полным циклом: сбор и подготовка текстовых датасетов, обучение векторизатора, подготовка векторизированных версий текстов;

- инициализация и обучение моделей (в т.ч. с нуля), подбор архитектуры и гиперпараметров;

- оценка качества моделей, проведение экспериментов и итеративное улучшение результатов.

Требования:

- опыт обучения gpt-like LLM-моделей (QWEN, LLAMA и аналоги) с нуля (приоритетное требование);

- глубокое понимание процесса обучения: инициализация весов, подготовка датасетов, тренировочный пайплайн;

- опыт работы с векторизаторами и подготовкой текстовых данных;

- сильный Python и опыт с ML-фреймворками (PyTorch и др.);

- понимание distributed training и работы с GPU;

- как альтернатива: сильный опыт качественного файн-тюнинга предобученных gpt-like моделей;