Российские ученые разработали тесты для оценки ИИ в педагогике

В пресс-службе вуза сообщили, что разработка тестов была вызвана растущим интересом к языковым моделям ИИ, которые могут решать широкий спектр задач в образовательном процессе. Однако для полноценной интеграции ИИ в педагогику необходимо тщательно оценивать его способности и выявлять слабые места. Для этого ученые создали более 3,9 тыс. заданий, охватывающих 16 областей знаний, включая методы преподавания, психологию и управление классом.

Основой для разработки тестов послужили методы психометрики — науки, которая сочетает психологию, математику и педагогику. В эксперименте с русскоязычной версией языковой модели GPT-4 было показано, что ИИ хорошо справляется с задачами на установление фактов, но испытывает трудности при решении более сложных заданий, требующих гибкости и глубокого анализа. Модель продемонстрировала слабые результаты при решении теоретических задач и адаптации к новым условиям.

Исследователи отмечают, что этот подход помогает выявить ключевые проблемы, которые ИИ еще не способен преодолеть.