ИИ сделал «до жути» простым сбор данных с простой записи экрана

Исследователь ИИ Саймон Уиллисон недавно продемонстрировал мощь «видеоскрейпинга» — метода, который использует большие языковые модели (LLM) для извлечения структурированных данных из экранных записей, пишут СМИ. Столкнувшись с необходимостью вручную собирать данные о платежах из двенадцати различных писем, Уиллисон создал 35-секундную запись экрана и использовал модель Gemini 1.5 Pro для извлечения нужной информации и её преобразования в нужный ему формат. ИИ успешно извлёк данные о ценах и датах из видео и организовал их в формате JSON, при этом стоимость процесса составила менее одной десятой цента. Уиллисон считает, что этот подход может изменить способ взаимодействия ИИ-ассистентов с содержимым экранов, автоматизируя сложные задачи, такие как навигация по сайтам или обработка данных на экране. Тем не менее, «видеоскрейпинг» вызывает опасения по поводу конфиденциальности, особенно по мере того, как такие компании, как Microsoft и OpenAI, изучают подобные технологии. Некоторые комментаторы сказали, что метод Уиллисона показался им «жутким».