«Галлюцинации» нейросетей научились исправлять

Почему возникают галлюцинации:

• Сжатие и несогласованность данных: галлюцинации в LLM часто возникают из-за сжатия данных и несоответствий в обучающих материалах.

• Ограниченная или противоречивая информация: галлюцинации могут возникать, когда обучающие данные содержат ограниченную, устаревшую или противоречивую информацию, относящуюся к заданному запросу.

Для смягчения последствий галлюцинаций можно использовать несколько стратегий, среди которых:

• Инженерия запросов: составление хорошо структурированных запросов, поощряющих пошаговое мышление и ответы, основанные на фактах, может помочь уменьшить количество галлюцинаций.

• Использование внешних источник для проверки ответов может повысить их надежность.

Галлюцинации у LLM можно разделить на логические заблуждения, подтасовку фактов и предвзятость, обусловленную данными.

Практические подходы к снижению уровня галлюцинаций, которые выделяет Sergei Savvov следующие:

• Цепочка мыслей (CoT): добавление фразы «Думай шаг за шагом» в подсказки и запрос ответов в формате JSON.

• Самосогласованность с CoT (CoT-SC): Запрос модели на предоставление нескольких ответов и выбор лучшего из них.

• Дерево мыслей (ToT): побуждение модели к пошаговому размышлению и самооценке процесса рассуждений.

• Отмеченные контекстные подсказки: формирование наборов вопросов, создание контекстных подсказок и включение в ответы ссылок на источники и факты.

• Самокоррекция: побуждение модели к перепроверке и улучшению своих ответов.

• Несколько агентов: привлечение нескольких экземпляров LLM для предложения и обсуждения ответов.

Каждый метод имеет свои достоинства и недостатки, и выбор зависит от конкретного случая использования и набора данных. Необходимы дальнейшие исследования для совершенствования этих подходов и повышения надежности ответов LLM.