«Галлюцинации» нейросетей научились исправлять

Генеративные модели больших языков (LLM), такие как GPT-3, способны генерировать связные ответы на различные запросы пользователя, но иногда могут выдавать галлюцинации или неточные высказывания. В статье, написанной Sergei Savvov для Better Programming рассматривается проблема галлюцинаций в LLM и представлены шаги и научные работы, направленные на решение этой проблемы. Почему возникают галлюцинации: Сжатие и несогласованность данных: галлюцинации в LLM часто возникают из-за сжатия данных и несоответствий в обучающих материалах. Ограниченная или противоречивая информация**: галлюцинации могут возникать, когда обучающие данные содержат ограниченную, устаревшую или противоречивую информацию, относящуюся к заданному запросу. Для смягчения последствий галлюцинаций можно использовать несколько стратегий, среди которых: Инженерия запросов**: составление хорошо структурированных запросов, поощряющих пошаговое мышление и ответы, основанные на фактах, может помочь уменьшить количество галлюцинаций. Использование внешних источник** для проверки ответов может повысить их надежность. Галлюцинации у LLM можно разделить на логические заблуждения, подтасовку фактов и предвзятость, обусловленную данными. Практические подходы к снижению уровня галлюцинаций, которые выделяет Sergei Savvov следующие: Цепочка мыслей (CoT)**: добавление фразы «Думай шаг за шагом» в подсказки и запрос ответов в формате JSON. Самосогласованность с CoT (CoT-SC)**: Запрос модели на предоставление нескольких ответов и выбор лучшего из них. Дерево мыслей (ToT)**: побуждение модели к пошаговому размышлению и самооценке процесса рассуждений. Отмеченные контекстные подсказки**: формирование наборов вопросов, создание контекстных подсказок и включение в ответы ссылок на источники и факты. Самокоррекция**: побуждение модели к перепроверке и улучшению своих ответов. Несколько агентов**: привлечение нескольких экземпляров LLM для предложения и обсуждения ответов. Каждый метод имеет свои достоинства и недостатки, и выбор зависит от конкретного случая использования и набора данных. Необходимы дальнейшие исследования для совершенствования этих подходов и повышения надежности ответов LLM.