Состояния важнее внимания? От классических SSM к S4/S5 и Mamba

Трансформеры стали стандартом для работы с последовательностями, но современное моделирование живо «не трансформером единым». Их ключевое ограничение — квадратичное время работы от длины входа. Мы разберём State Space Models (SSM) — в том числе нашумевшую Mamba — как альтернативу: эти модели масштабируются линейно, естественно описывают динамику во времени и лучше работают с дальними зависимостями.

Мы начнём с классических SSM (с помощью которых людей отправляли на Луну), и их практических версий в ML. В качестве мотивации посмотрим на HiPPO: как можно «сжать прошлое и восстановить его обратно». Дальше обсудим связь с оптимальным управлением и сигналами, и покажем, как линейная масштабируемость достигается структурой SSM, а стабильность обучения обеспечивается не только корректной инициализацией, но и выбором метода дискретизации.

Разберём три удобных взгляда на такие модели — как непрерывные динамические системы, как свёрточные операторы (через структурированные матрицы) и как рекуррентное обновление состояния. Покажем эволюцию от S4 (SISO) к S5 (в том числе MIMO), и чем эти апдейты важны на практике.

Завершим кратким обзором Mamba: что в ней означает «селективность» и как устроено обновление скрытого состояния. Заодно обсудим, почему эта модель вызвала такой фурор; но подробное изложение архитектур Mamba и Mamba 2 будет в следующем докладе.