Термодинамический взгляд на машинное обучение

Современные методы машинного обучения всё чаще сталкиваются с вопросами эффективности, устойчивости и фундаментальных ограничений вычислительных процессов. В этом докладе будет рассмотрен подход, который переносит понятия и интуицию из классической термодинамики в область машинного обучения. Применения данного подхода будет продемонстрированно на двух областях: тематическое моделирование и pruning нейронных сетей.
Основные темы:
— аналогии между термодинамическими системами и моделями машинного обучения;
— энтропия и свободная энергия в контексте информации и неопределённости модели машинного обучения;
— тематическое моделирование и проблема отбора числа кластеров;
— pruning, проблема выбора уровня разреживания.
Целевая аудитория: исследователи в области машинного обучения, специалисты по искусственному интеллекту, физики, интересующиеся междисциплинарными подходами, а также разработчики, стремящиеся понять фундаментальные основания современных моделей.