Клиентообусловленное спекулятивное декодирование для больших языковых моделей в мультиарендных сервисах

Данная работа направлена на оптимизацию применения больших языковых моделей (LLM) в мультиарендных сервисах. Приводится подробный обзор современных методов спекулятивного декодирования, а для внедрения персонализации предсказаний без оказания влияния на их качество предлагается метод клиентообусловленного спекулятивного декодирования CCSD (Client-Conditioned Speculative Decoding). Метод интегрируется поверх существующих методов спекулятивного декодирования и использует n-граммные статистики по генерациям отдельных клиентов, обновляемые в онлайн-режиме и адаптирующие распределение кандидатов драфтовой модели при осуществлении спекулятивного сэмплирования (speculative sampling). Установлено, что на клиентских срезах с предсказуемыми ответами использование биграммных статистик влечёт ускорение до +36\% токенов, генерируемых за секунду, при росте acceptance rate до +82%. Также возможность адаптации CCSD в процессе работы LLM к изменениям в распределении запросов от клиента позволяет обеспечивать сохранение более значительного прироста от использования спекулятивного декодирования по сравнению с переобучением драфтовой модели под клиента. Библ. --- 9 назв.