Изучение архитектур для эффективной обработки длинных последовательностей, прежде всего моделей на основе пространств состояний и их гибридов с трансформером. Мы исследуем, как устройство динамической памяти влияет на сохранение и обновление информации, работу с зависимостями разных временных масштабов и устойчивость обучения, а также какие операции могут выполняться посредством компактного состояния, а какие требуют прямого доступа ко всему контексту. На основе этого мы разрабатываем и анализируем новые подходы к управлению состоянием слоя, механизмы памяти и гибридные архитектуры, сочетающие преимущества рекуррентной обработки и self-attention. Цель направления — сформулировать принципы построения моделей последовательностей, способных эффективно работать с длинным контекстом при меньших вычислительных затратах без существенной потери качества и возможностей модели.