Microsoft объяснила ложь и агрессию их чат-бота на основе нейросети

Так, компания признала, что чат-бот сталкивается с “проблемами при поиске ответов, которые требуют очень своевременных данных, например, прямых спортивных результатов”.

Помимо прочего они обнаружили, что “при длительных, продолжительных сеансах чата из 15 и более вопросов Bing может повторяться или писать ответы, которые не всегда полезны, а также не соответствуют задуманному нами тону”. Они считают, что это связано с несколькими факторами:

• Очень длинные сеансы чата. Они могут запутать модель в том, на какие вопросы она отвечает, и поэтому в компании считают, что им, возможно, нужно добавить инструмент, позволяющий легче обновить контекст или начать с нуля.

• Модель иногда пытается отвечать или размышлять в том тоне, в котором ее просят дать ответы, что может привести к стилю ответа, “который мы не планировали”, отмечает компания. “Это нетривиальный сценарий … поэтому большинство из вас не столкнется с этим”.

Компания пишет, что все еще дорабатывает новый инструмент, поэтому в последующем будет выходить больше обновлений, нацеленных на улучшение опыта использования ChatGPT в поисковике Bing.