Создана тестовая среда для оценки работы ИИ

Международная группа ученых разработала платформу Computer Agent Arena, предназначенную для тестирования и улучшения работы компьютерных агентов, использующих искусственный интеллект. В проекте приняли участие специалисты из Университета Ватерлоо, Университета Гонконга, Salesforce Research и Университета Карнеги-Меллона. Компьютерные ассистенты- это программы, выполняющие задачи без постоянного вмешательства человека. Примеры таких ассистентов — голосовой помощник Siri, который может отправлять сообщения и организовывать встречи. Однако современные ИИ-ассистенты сталкиваются с трудностями при выполнении сложных задач, требующих взаимодействия с разными приложениями. Например, составление отчета о расходах может быть затруднено из-за необходимости искать данные в письмах, выписках и таблицах. Computer Agent Arena стала первой платформой, позволяющей тестировать ИИ-ассистентов в условиях реального компьютерного окружения. Это развитие предыдущего проекта OSWorld — первой масштабируемой среды для работы мультимодальных асистенов. По словам одного из разработчиков, профессора Университета Ватерлоо Виктора Чжуна, новая среда позволяет сравнивать различные модели ИИ на основе языковых и визуальных технологий. Пользователь выбирает операционную систему, приложения (например, Google Chrome или Excel), затем задает задачу ИИ-ассистенту, после чего система в режиме реального времени сравнивает выполнение задания двумя разными моделями.