Российские ученые оценили способность ИИ понимать мемы и культурные стереотипы
GPT-4 и другие нейросети прошли экзамен по «мемологии» в МФТИУченые из России разработали новый метод для оценки способности искусственного интеллекта (ИИ) понимать культурные мемы и стереотипы, а также отвечать на вопросы, связанные с языковыми и культурными особенностями. Презентация результатов проекта «Культурные замеры больших языковых моделей» состоялась в МФТИ.
© Ferra.ru
Исследования проводились под руководством профессора НИУ ВШЭ Максима Кронгауза, который возглавил группу ученых из Центра междисциплинарных исследований МФТИ. Главной целью было понять, как современные нейросети воспринимают специфические культурные контексты, что особенно важно для их использования в многонациональных странах, таких как Россия.
Для проверки способности нейросетей понимать мемы, ученые создали 400 тестовых заданий, основанных на популярных российских стереотипах, цитатах из фильмов и литературы. Примером такого задания стало вопрос о том, «что сделал дядя самых честных правил, когда не в шутку занемог». На эти и другие вопросы лучше всего ответили различные версии GPT-4.