Автопилот автомобиля и медицинские ИИ-системы легче обмануть, чем вы думаете

Недавно было проведено исследование, которое показало, что искусственный интеллект (ИИ), управляющий автопилотом автомобиля, либо интерпретирующий ваши рентгеновские снимки, может быть более «доверчивым», чем считалось ранее. Вы можете вносить всевозможные изменения в знак остановки, и ИИ, обученный распознавать знаки остановки, все равно будет знать, что это знак остановки. Однако, если у ИИ есть уязвимость, и злоумышленник знает об этой уязвимости, злоумышленник может ей воспользоваться и вызвать аварию. Исследователи из Университета штата Северная Каролина создали специально ПО – QuadAttacK, который проник в четыре широко используемые «нейронные сети», выявив их «ахиллесовы пяты». Если у вас есть обученная система ИИ и вы тестируете ее на чистых данных, система ИИ будет вести себя так, как прогнозируется. QuadAttacK наблюдает за этими операциями и изучает, как ИИ принимает решения, связанные с данными, что позволяет ему определить, как можно манипулировать данными, чтобы обмануть ИИ. Затем QuadAttacK начинает отправлять обработанные данные в систему ИИ, чтобы увидеть, как ИИ отреагирует. Если QuadAttac K обнаружит уязвимость, он сможет быстро заставить ИИ увидеть то, что QuadAttacK хочет, чтобы он увидел, пишут исследователи.