Mamba-2: SSM и механизм внимания

Мы продолжаем разбор моделей на основе State Space Models и переходим к Mamba-2 — архитектуре, выросшей из идеи Structured State-Space Duality (SSD), которая показывает, что SSM и механизм внимания можно рассматривать как два взгляда на одну и ту же структуру. Этот подход объединяет сильные стороны обоих направлений: эффективность и линейную масштабируемость SSM с выразительностью и гибкостью механизмов внимания.

Мы разберём, как устроен новый слой Mamba-2, чем он отличается от первой версии и как через SSD удаётся свести вычисления к матричным операциям, хорошо оптимизированным под GPU. Именно благодаря этому Mamba-2 работает в несколько раз быстрее Mamba-1 и остаётся конкурентоспособной с трансформерами по качеству на задачах языкового моделирования.