В MIT разработали инструмент для проверки ответов ИИ

SymGen позволяет пользователям быстро проверять ответы LLM, предоставляя возможность наводить курсор на выделенные части текста. Это позволяет увидеть данные, использованные для генерации конкретного слова или фразы. Невыделенные части текста указывают на фразы, требующие дополнительного внимания. По словам авторов исследования, этот подход помогает людям сосредоточиться на наиболее сомнительных частях текста и повышает доверие к ответам модели.

В ходе пользовательского исследования было установлено, что SymGen ускоряет процесс верификации на 20% по сравнению с традиционными методами. Исследователи надеются, что улучшенный инструмент поможет выявлять ошибки в ответах LLM, используемых в различных реальных сценариях, включая генерацию клинических заметок и резюме финансовых отчетов. В будущем планируется расширение возможностей SymGen для работы с произвольными текстами и другими форматами данных.