ИИ стал лучше в математике, когда его попросили изобразить капитана из Star Trek

В то время как модели ИИ отлично справляются с созданием грамматически правильных и, казалось бы, связных ответов, их возможности в таких точных предметах, как математика, остаются ограниченными. Это связано с тем, что они полагаются на статистический анализ и предлагают наиболее статистически вероятный ответ, зачастую не имея возможности рассуждать над проблемами и находить единственно верное решение.

Однако новое исследование, опубликованное на сайте arXiv, показывает, что «тривиальная модификация запроса» может существенно повлиять на успеваемость. Предыдущие исследования показали, что поддержка ИИ, например «сделай глубокий вдох и работай над этим шаг за шагом», может повысить точность. Новое исследование делает еще одно открытие, показывая, что формулировка вопросов в контексте Star Trek каким-то образом дает лучшие результаты.

Исследователи протестировали три различных инструмента искусственного интеллекта. Они использовали стандартный набор школьных задач по математике и экспериментировали с различными способами формулировки вопросов, включая начало запросов с фразами типа «Вы так же умны, как ChatGPT» и «Вы — эксперт-математик».

Для одной конкретной модели ИИ наиболее точные ответы были получены, когда подсказка начиналась с упоминания Star Trek и фразы «Журнал капитана, звездная дата…».

Исследователи признаются в полном недоумении относительно конкретной связи между упоминанием «Звездного пути» и улучшением математических показателей.