Microsoft позволила Copilot Studio самостоятельно управлять компьютером по заданию пользователя

Microsoft добавила в Copilot Studio новую функцию «Использовать компьютер» — она позволяет агентам искусственного интеллекта взаимодействовать с веб-сайтами и настольными приложениями. Copilot Studio, как ранее OpenAI Operator и аналогичная функция Anthropic Claude, может использовать сайты и локальное ПО как средства для автоматизации рабочих задач.

Источник изображений: microsoft.com

«Использование компьютера позволяет агентам взаимодействовать с сайтами и настольными приложениями, нажимая кнопки, выбирая [пункты] меню и вводя текст в экранные поля. Агенты выполняют задачи, даже когда нет API для прямого подключения к системе. Если приложение может использовать человек, то может и агент», — рассказали о новой функции в Microsoft.

В Copilot Studio можно создавать агентов ИИ, способных автоматизировать ввод данных, проводить маркетинговые исследования или обрабатывать бухгалтерские документы. ИИ, уверяют в Microsoft, обучен обнаруживать, когда расположение кнопок в приложениях или на сайтах меняется, и продолжает работать без сбоев.

Ранее похожую функцию Actions компания Microsoft добавила в потребительскую версию Copilot — действия выполняются в фоновом режиме, когда человек занят другими задачами. Copilot может бронировать столки в ресторане, покупать билеты на мероприятия и товары в интернет-магазинах. При этом возможности Actions ограничены установленными партнёрами Microsoft, а Copilot Studio предлагает бесплатную работу с бо́льшим числом сайтов и приложений.