Оценка неопределённости в NLP: от классификации к большим языковым моделям

Оценка неопределённости (UQ) является важным инструментом повышения надёжности систем обработки естественного языка — от классификации текстов до порождения ответов большими языковыми моделями. Она позволяет снижать риск критических ошибок, выявлять неоднозначные случаи и обнаруживать галлюцинации при порождении текста.

Несмотря на быстрый прогресс в этой области, существующие подходы часто оказываются нестабильными на сложных и неоднозначных данных и плохо переносятся с задач классификации на авторегрессионные языковые модели. В докладе обсуждаются ключевые вызовы оценки неопределённости в NLP. Для задач текстовой классификации рассматриваются как базовые, так и state-of-the-art методы, направленные на повышение надёжности выборочной классификации. Для задач порождения текста большими языковыми моделями рассматриваются современные методы оценки неопределённости, а также анализируется роль attention механизма в выявлении галлюцинаций и низкокачественных ответов.