Наука и технологии1 мин.
Чат-ботов начнут цензурировать
Этим займутся нейросети
Исследователи из Сколтеха и МТС обучили нейросеть находить «неуместные» сообщения чат-ботов. Это позволит модерировать их.
Авторы отметили, что чат-боты могут быть обучены на расистских твитах, сообщениях про самоубийство и т.д. Исследователи создали список из 18 чувствительных тем, в числе которых религия, политика, сексуальные меньшинства, самоубийство, порнография и преступления.
«Представьте, например, чат-бота, который любезно обсуждает с пользователем „лучшие способы покончить с собой“. Здесь явно имеет место нежелательный контент, но нет и намека на токсичность», — сказал один из специалистов Сколтеха. Такие ситуации могут нанести ущерб репутации создателя чат-бота.
Поэтому нейросеть научили распознавать неуместные сообщения. Она может угадывать и верно в 89% случаев.