Устойчивость моделей глубокого обучения

В последнее время модели глубокого обучения получили повсеместное применение. Однако уязвимость к малозаметным состязательным атакам, чувствительность к естественным шумам и семантическим возмущениям и рост рисков подделки голоса являются актуальной проблемой, особенно для таких высокорисковых приложений, как медицина или биометрия. Целью исследования является разработка новых сертифицируемых (доказуемых) и эмпирических методов, обеспечивающих устойчивость, доверенность и приватность моделей без существенных ограничений для их применения.

Методологическая основа включает в себя развитие сертификации классификаторов изображений к композициям семантических возмущений и прототипических векторных моделей к аддитивным возмущениям на основе случайного сглаживания и статистических методов, а также проектирование универсальных состязательных возмущений для приватности (анонимизации) диктора и развитие моделей голосового антиспуфинга. По результатам работы предложен новый вычислительно-аналитический метод сертификации устойчивости классификаторов изображений к широкому классу композиционных преобразований на основе анализа липшицевости модели относительно параметров возмущения. Получены улучшенные гарантии сертификации прототипических моделей, в том числе впервые для задачи идентификации диктора. Также представлен способ анонимизации речи с использованием экспоненциальной функции потерь полной вариации. Более того, предложены новые архитектуры детекции синтетической речи на основе сетей Колмогорова-Арнольда.

Научная новизна работы заключается в улучшении и расширении возможностей сертификации классификаторов изображений для новых композиционных возмущений, улучшении сертификации прототипических моделей, создании метода приватности диктора с улучшенным балансом анонимизации, качества аудио и распознавания речи, а также в разработке более устойчивой архитектуры детекции синтетической речи. Практическая значимость состоит в применении предложенных решений для анализа устойчивости моделей перед внедрением, обеспечении их более устойчивой и доверенной работы, а также защиты приватности личности в задачах голосовой биометрии и антиспуфинга.