Научный семинар Искусственный интеллект Машинное обучение Анализ данных
- Дата проведения: 17 сентября 2025
- Длительность: 1:39:58
- Спикеры: Сергей Игоревич Николенко, ПОМИ РАН, СПбГУ
Не все данные одинаково полезны для обучения. Иногда модель становится “умнее” после ещё 50 ГБ текста, а иногда — нет. Какие именно документы оказались наиболее полезны, как узнать это заранее? Об этом мы и поговорим на первом семинаре Лаборатории Маркова.
Начнём с простых методов: как собрать чистый корпус данных, можно ли обучить вспомогательные модели, которые будут оценивать качество и полезность датасетов, какие есть полезные сигналы в этом отношении (спойлер: энтропия неплохо работает).
Но главное содержание нашего разговора — функции влияния (influence functions, IF). Они отвечают на вопрос о том, как изменится метрика качества, если убрать тот или иной документ из датасета. И здесь внезапно появляется много интересной математики — ну ладно, достаточно много по меркам глубокого обучения. Влияние точки данных легко оценить теоретически, но простые методы совсем не масштабируются, и чтобы вывести это на уровень LLM, нужно что-то придумывать. Мы разберём несколько базовых методов (LiSSA, Arnoldi-IF), важные приближения (LoGra, EK-FAC) и методы ранней оценки данных (LinFiK/ALinFiK).