DeepMind разработала систему SAFE для проверки результатов ChatGPT

Команда специалистов из DeepMind, подразделения Google, создала систему на основе искусственного интеллекта (ИИ) под названием SAFE, которая может использоваться для проверки достоверности результатов больших языковых моделей (LLM), таких как ChatGPT. Они опубликовали статью, описывающую новую систему, и ее результаты на сервере предварительных публикаций arXiv. Большие языковые модели получили широкое внимание за последние несколько лет — они могут писать статьи, отвечать на вопросы и даже решать математические задачи. Однако они сталкиваются с одной основной проблемой: точностью. Каждый результат, полученный LLM, должен быть проверен вручную, чтобы гарантировать его правильность, что существенно снижает их ценность. В новом исследовании ученые в DeepMind создали приложение на основе искусственного интеллекта, которое может проверять результаты ответов, данных LLM, и автоматически указывать на неточности. Одним из основных способов проверки результатов LLM людьми является исследование ответов ИИ с использованием поисковой системы, такой как Google, для поиска подходящих источников для верификации. Команда в DeepMind взяла тот же подход. Они создали LLM, который анализирует утверждения или факты в ответе, предоставленном исходным LLM, а затем использовали поиск Google, чтобы найти сайты, которые можно использовать для верификации, сравнивая два ответа для определения точности. Они назвали свою новую систему SAFE. Для тестирования системы исследовательская команда использовала ее для проверки около 16 000 фактов, содержащихся в ответах нескольких LLM. Они сравнили свои результаты с результатами проверки фактов людьми (по данным от пользователей) и обнаружили, что SAFE совпадал с результатами людей в 72% случаев. При тестировании расхождений между SAFE и проверкой людей исследователи обнаружили, что SAFE был прав в 76% случаев.