Спекулятивное декодирование: от теории к SOTA-архитектурам ускорения LLM

Проблема увеличения времени генерации ответа при инференсе современных больших языковых моделей усугубляется не только ростом размеров моделей, но и необходимостью генерации длинных ответов, что особенно актуально для Reasoning Models, использующих цепочки рассуждений (Chain-of-Thought). Можно ли уменьшить время на генерацию, при этом сохранив длину ответа и, самое главное, его качество? Ответом на этот вопрос стал метод спекулятивного декодирования (Speculative Decoding).

Идея метода, предложенного в конце 2022 года, проста и гениальна: использование легковесной “драфтовой” модели для быстрой генерации цепочки токенов и более мощной “целевой” модели для их параллельной верификации. На семинаре мы подробно разберем процесс их совместного применения, включая алгоритм спекулятивного сэмплирования, на котором основывается метод.

За короткое время этот подход стал стандартом оптимизации LLM, значительно ускоряя decode-heavy сценарии. По этой причине особое внимание на семинаре будет уделено рассмотрению эволюции спекулятивного декодирования: от базовых идей до архитектур, ставших state-of-the-art и внедренных в промышленные движки для инференса, а также обсудим актуальные направления развития и последние исследования в этой области.