В MIT создали систему для простого объяснения решений ИИ
Новый подход помогает понять, как ИИ принимает свои решения© Ferra.ru
Модели машинного обучения могут ошибаться и быть трудными для понимания, особенно когда объяснения содержат информацию о сотнях параметров. Эти объяснения часто сопровождаются сложными графиками, которые сложно интерпретировать. Чтобы решить эту проблему, исследователи создали систему EXPLINGO, которая превращает такие объяснения в читаемые тексты.
Система состоит из двух частей. Первая — NARRATOR — использует LLM для создания текстовых объяснений, которые легко понять. Она настраивается на основе примеров, которые задает пользователь. Вторая часть — GRADER — автоматически оценивает текст по четырем критериям: точности, полноте, краткости и плавности.
Пользователи могут настроить систему так, чтобы определённые критерии оценивались важнее других. Например, в случае с высокорисковыми ситуациями можно акцентировать внимание на точности объяснений.
Результаты тестирования показали, что система успешно генерирует высококачественные объяснения и может адаптироваться под разные стили написания.