Хакеры взломали ИИ Gemini с помощью собственных инструментов модели

Этот метод повышает вероятность успешного взлома моделей путём внедрения скрытых инструкций в тексты, читаемые моделью ИИ. Это может привести к утечке информации, неправильным ответам и другим нежелательным действиям, вплоть до контролируемых «галлюцинаций» — генерации лжи.

Специалисты использовали функцию тонкой настройки Gemini, обычно предназначенную для обучения модели на пользовательских данных, для тестирования и усовершенствования подсказок. Используя «странные» префиксы и суффиксы, они усилили подсказки и повысили их эффективность. Таким образом, даже неудачная подсказка может стать успешной, если её модифицировать.

Как отмечают инсайдеры из Android Authority, техника Fun-Tuning открыла новые возможности для взлома моделей Gemini на основе prompt injection.