Научный семинар Методы оптимизации Анализ данных Информатика и алгоритмы
- Дата проведения: 21 октября 2026
- Спикеры: Ирина Пионтковская, Сбер
LoRA, task arithmetic, activation steering, случайный поиск вокруг предобученных весов — все эти методы исходят из одного негласного предположения: вокруг обученного чекпойнта поведение модели устроено почти линейно, и можно успешно адаптировать такую модель, просто сдвинувшись в правильном направлении. Мы задались вопросом, какие из этих линейных структур в сетях реально существуют, в каком масштабе и как долго живут.
Ответ оказался двойственным. Вдоль одного направления всё хорошо: изменение функции ошибки — это практически проекция возмущения на градиент, и именно поэтому работает случайный поиск даже в очень высокой размерности (у нас для этого есть и теорема). Но стоит взять два обновления, и порядок их применения начинает влиять на результат, а полезный базис в пространстве весов поворачивается до неузнаваемости довольно быстро.
Я расскажу о двух наших недавних работах, покажу, в каких случаях полноценное дообучение можно заменить небольшими вмешательствами и почему даже существующее в модели решение не всегда удаётся найти простыми методами.