Хакеры нашли «ахиллесову пяту» ИИ: они могут запутать систему и подчинить себе

Причём всё это можно делать с помощью естественного языка, а не манипуляций с кодом. Речь идёт о т.н. быстром внедрении, или оперативных инъекциях, — командах на человеческом языке, которые, что называется, сбивают ИИ чат-боты с толку, поскольку злоумышленники ставят задачи, выходящие за пределы логики алгоритмов, прописанных разработчиками.

При этом системы «этики» у чат-ботов нет — только то, чему систему научили. Поэтому боты становятся «невероятно доверчивыми» и делают всё, о чём их просят. Хакеры могут попросить бот, собрать и обобщить конфиденциальные данные пользователя, украсть эту информацию или отправить сообщения, наносящие ущерб репутации. Вместо того, чтобы игнорировать команду, ИИ будет рассматривать её как законный запрос. А пользователь может и не знать, что атака имела место.

По словам Саймона Уиллисона, разработчика, который был одним из создателей широко используемого веб-фреймворка Django, до сих пор исследователям кибербезопасности не известно о каких-либо успешных атаках с быстрым внедрением, кроме опубликованных экспериментов. Но по мере того, как растёт ажиотаж вокруг персональных ИИ-помощников и других решений, растёт и риск таких атак.

Впрочем, хакеры не согласны с исследователями безопасности и говорят, что успешные атаки с быстрым внедрением есть.