Опубликовано 12 августа 2024, 20:54
1 мин.

Эксперты «Лаборатории Касперского»: нейросети оказались уязвимы перед хитростью

Люди начали использовать скрытые команды для манипуляции результатами
Россиянам рассказали, какие команды используют люди для манипуляций нейросетями, чтобы получить работу или продвигать свой сайт
Эксперты «Лаборатории Касперского»: нейросети оказались уязвимы перед хитростью

Пользователи начали активно манипулировать искусственным интеллектом, применяемым в чат-ботах и поисковых системах, чтобы получить нужные ответы на запросы. В «Лаборатории Касперского» выяснили, что люди размещают на своих сайтах и в документах специальные фразы, называемые «инъекциями», которые заставляют нейросети выполнять определённые действия. Например, такие фразы могут влиять на ответы ИИ, подталкивая его к нужной оценке или выполнению конкретного задания.

Специалисты отмечают, что подобные уловки используются в различных сферах, включая продвижение резюме и рекламу товаров. В «Лаборатории Касперского» пояснили, что соискатели, например, могут незаметно вставлять инструкции для ИИ в свои резюме, чтобы система позитивно отзывалась о кандидате или давала приоритет его анкете. Аналогичные методы применяются для повышения рейтинга товаров в ответах поисковых ботов. Некоторые пользователи используют инъекции, чтобы выразить протест против использования ИИ, как это сделал один бразильский художник, потребовавший от нейросетей не обрабатывать контент с его сайта.

В «Лаборатории Касперского» подчеркнули, что пока такие инъекции не представляют серьёзной угрозы, хотя киберзлоумышленники уже проявляют интерес к этому методу. Руководитель группы исследований и разработки технологий машинного обучения Владислав Тушканов отметил, что важно оценивать риски таких атак и разрабатывать методы их предотвращения. Ведущие разработчики, такие как OpenAI и Google, уже работают над тем, чтобы сделать инъекции более сложными и обнаруживать их заранее.