Изучение фундаментальных свойств языковых моделей маскированной диффузии – нового класса моделей, в которых текст генерируется не последовательно слева направо, а посредством итеративного восстановления сразу нескольких частей последовательности. Мы исследуем, как такой механизм генерации влияет на зависимости между токенами, устройство внутренних представлений и рассуждений, а также на выбор токенизации, обучающих задач и алгоритмов декодирования. Цель направления – понять ограничения существующих методов и разработать принципы построения диффузионных языковых моделей, действительно использующих преимущества параллельной генерации.