Структурные и интерактивные задачи, трудные для LLM

Поиск, теоретический анализ и конструирование задач, которые остаются трудными даже для “сильных” языковых моделей и выявляют их ограничения, не всегда заметные на привычных текстовых бенчмарках. Помимо собственно оценки моделей, изучается, какие факторы определяют трудность таких задач для людей и для систем искусственного интеллекта, а также как устроены ошибки.

Прокрутить вверх