Научный семинар Машинное обучение Математика Информатика и алгоритмы
- Дата проведения: 10 декабря 2025
- Длительность: 1:06:02
- Спикеры: Яна Вейцман, Гёттингенский университет / Саарский университет
State Space Models (SSM) за последние годы стремительно набрали популярность, демонстрируя качество языкового моделирования, сопоставимое с трансформерами. Однако их фундаментальные теоретические свойства до сих пор остаются малоизученными. В докладе Яны Вейцман будут представлены результаты исследования 2024 года, в котором впервые проводится систематический теоретический анализ выразительной мощности SSM по сравнению с трансформерами и классическими RNN в рамках парадигмы формальных языков.
Мы обсудим пересекающиеся, но различающиеся сильные стороны SSM и трансформеров. В частности, речь пойдёт о способности SSM эффективно решать задачи слежения за состоянием в star-free языках — области, где трансформеры испытывают существенные трудности. Кроме того, будет показано, что SSM способны оптимально моделировать ограниченные иерархические структуры без явной симуляции стека. При этом в общепринятом дизайне современных SSM скрыто конструктивное ограничение, которое существенно снижает их выразительность.
В докладе также будет обсуждаться, какие практические выводы следуют из этих теоретических результатов для будущего архитектур SSM, развития языковых моделей и систем вроде Mamba, а также какие новые направления исследований они открывают.