Siri будет отвечать об увиденном на экране с помощью ChatGPT

Когда пользователь задаст вопрос о том, что видит на экране, Siri сделает снимок и передаст в базу ChatGPT. В свою очередь, чат-бот «пробьёт» данные по своей базе и сформирует ответ, который голосовой ассистент и озвучит пользователю.

В описании этой технологии Apple объяснила, что сохранение конфиденциальности обеспечивается за счёт запрета для чат-бота получать данные об аккаунте iCloud, OpenAI не может использовать эти данные для обучения своего ИИ. Отправляется только информация об изображении и геолокации.

Но при платной подписке запросы могут фиксироваться. Так или иначе, настройки определяет пользователь.

Уточняется, что эта функция интегрирована в iOS 18.2 и будет доступна только в iPhone 16. Однако Siri сможет считывать текст на экране всех устройств Apple — iPhone, iPad или iMac.