Научный семинар Искусственный интеллект Машинное обучение
- Дата проведения: 5 ноября 2025
- Длительность: 1:04:58
- Спикеры: Никита Денисов, Александр Комнацкий
Мы заканчиваем разбор моделей на основе SSM. В этот раз расскажем сразу про два свежих продолжения этой линии работ: Gated Delta Networks (ICLR 2025) и Mamba-3 (подана на ICLR 2026). Обе модели развивают идеи линейных рекуррентных архитектур и показывают, как SSM может конкурировать с трансформерами на всё более сложных задачах.
Gated DeltaNet строится на базе Mamba-2 и объединяет два подхода к управлению памятью — «gating» и «delta rule». Это позволяет модели выбирать, что забывать полностью, а что обновлять выборочно, при этом сохраняя эффективность и адаптированность к длинным контекстам.
Mamba-3 делает следующий шаг — переосмысливает саму структуру SSM с точки зрения эффективного инференса. В ней появляются более выразительная рекуррентная динамика, комплексные обновления состояния и MIMO‑формулировка (multi-input, multi-output), что делает её быстрее и мощнее без увеличения вычислительных затрат на порождение.