Научный семинар Машинное обучение Математика Методы оптимизации
- Дата проведения: 27 марта 2026
- Длительность: 1:34:52
- Спикеры: Ильдус Садртдинов, Constructor University, Bremen
На этом семинаре мы вспомним школьный курс термодинамики и поговорим о модели идеального газа. Оказывается, что у идеального газа есть довольно точная аналогия в мире стохастической оптимизации — масштабно-инвариантные (МИ) нейронные сети.
В отличие от существующих работ по поиску взаимосвязей между термодинамикой и оптимизацией, которые главным образом оперируют с температурой T, мы покажем, что МИ-сети позволяют естественное определение величин давления p и объёма V, а также приводят к уравнению идеального газа pV/T=const (при некоторых ограничениях на матрицу ковариаций шума стохастических градиентов). Подобная аналогия улучшает понимание, как гиперпараметры обучения (такие как learning rate и weight decay) влияют на стационарное распределение стохастического градиентного спуска.
Этот рассказ будет в первую очередь о математической красоте, когда в двух совершенно разных мирах (термодинамике и оптимизации) находятся две по сути одинаковые конструкции.