Ученые из России разработали систему подбора контрольных вопросов

Исследователи из МГУ им. М.В. Ломоносова создали систему, которая эффективно подбирает контрольные вопросы для анкет с помощью обработки естественного языка. Разработку ученые представили на конференции «Ломоносовские чтения-2023».

Для того, чтобы получить максимально правдивые ответы, которые позволят прийти к корректным заключениям, ученые добавляют в анкеты контрольные вопросы, речь в которых идет об одном и том же, но с использованием различных формулировок. Несовпадение в ответах у одного и того же человека может говорить о его неискренности.

Разработанная математиками систем использует различные методы обработки естественного языка для поиска похожих вопросов в анкетах и определения наиболее подходящих контрольных вопросов.

Первый метод — F-IDF (Term Frequency-Inverse Document Frequency) — основывается на анализе частоты встречаемости слов и отношения всего числа документов к тем, которые имеют заданное слово. Этот метод позволяет определить наиболее значимые слова в тексте, которые могут быть использованы для описания его содержания. Такой подход существенно облегчает поиск информации в больших коллекциях документов.

С помощью латентно-семантического анализа (LSA) выявляет связи между словами в документе. Определяются наиболее важные слова, связанные с темой, и устанавливается степень их схожести с другими вопросами. Такой подход помогает избегать повторений или путаницы.

Третий используемый в системе метод — это тематическое моделирование, основанное на алгоритмах машинного обучения. С их помощью система автоматически выявляет наиболее вероятные комбинации тем и слов, обсуждаемых в документах. Таким образом, она определяет распределение вероятностей для каждой темы в каждом документе, что облегчает поиск вопросов, содержащих схожие темы.

Эффективность системы подтвердили на анкетах с вопросами из областей психологии и социологии. Она — настоящий прорыв в сфере составления анкет и подбора контрольных вопросов, уверен один из разработчиков доцент кафедры алгоритмических языков факультета вычислительной математики и кибернетики МГУ Владимир Абрамов.