Иерархическая инициализация временных масштабов в Mamba-2 для многомасштабного моделирования последовательностей

В работе исследуется влияние послойной инициализации параметра $\Delta_{bias}$ в архитектуре Mamba-2 на качество языкового моделирования. Рассматриваются три стратегии инициализации: убывающая, возрастающая и равномерная. Проверяемая гипотеза состоит в том, что убывающая стратегия, при которой нижние слои инициализируются с большими $\Delta t$, а верхние -- с меньшими, способствует формированию многомасштабной обработки информации без изменения архитектуры модели. Эксперименты проведены на модели Mamba-2 размером около 40M параметров в режиме предварительного обучения на корпусе OpenWebText с последующей оценкой на наборах TinyStories, SQuAD и Wiki-EN. В проведенных экспериментах убывающая инициализация улучшала сходимость по сравнению с равномерной стратегией и в ряде внешних оценок давала более низкую perplexity, тогда как возрастающая стратегия в большинстве сравнений ухудшала качество. Предложенный подход не увеличивает число параметров и может рассматриваться как простой способ повышения эффективности обучения моделей семейства Mamba. Библ. --- 11 назв.