Британское правительство провело трёхмесячное тестирование ИИ-помощника Microsoft M365 Copilot и не выявило заметного роста производительности чиновников. Хотя выполнение некоторых задач ускорилось, другие стали только труднее из-за низкого качества предоставляемых ИИ материалов, сообщает The Register. Впрочем, тестирование проводилось почти год назад, за прошедшее время ИИ-помощник должен был «поумнеть».

Департамент бизнеса и торговли Великобритании (Department for Business and Trade) получил 1 тыс. лицензий на использование соответствующего Copilot с октября по декабрь 2024 года. Большую часть лицензий разобрали добровольцы, 30 % участников отобрали случайным образом. Около 300 испытуемых дали согласие на анализ своих данных. Выяснилось, что 72 % пользователей были «удовлетворены» или «очень удовлетворены» работой ИИ-помощника и не особенно обрадовались, когда тест завершился. Тем не менее, реальный рост производительности оказался неоднозначным.

Около ⅔ участников эксперимента использовали Microsoft 365 Copilot не менее раза в неделю, 30 % — не реже раза в день. В Великобритании стоимость ежемесячной подписки составляет от £4,90 до £18,10 за пользователя, так что в масштабах государственной машины затраты могут быть значительными.

Источник изображения: Департамент бизнеса и торговли Великобритании

При этом в среднем на одного пользователя приходилось всего 72 взаимодействия с Copilot за 63 рабочих дня, т.е. примерно по 1,14/день. Чаще всего Copilot использовали в Word, Teams и Outlook, значительно реже — в PowerPoint и Excel, а реже всего — в Loop и OneNote. Три самых популярных задания: расшифровка или подведение итогов встречи, написание электронных писем и создание резюме записей. Именно эти задачи и вызвали «удовлетворение». Реже всего Copilot просили составить расписание, проверить программный код и сгенерировать изображение.

Время, затраченное на выполнение задачи с помощью Copilot, регистрировалось и сравнивалось со временем выполнения сотрудниками задач вручную. Оказалось, пользователи M365 Copilot составляли сводки отчётов и писали электронные письма быстрее, качественнее и точнее, чем те, кто не пользовался ботом. Но, например, экономия времени при написании e-mail была крайне незначительной. Анализ данных в Excel выполнялся ботом медленнее и с худшим качеством и точностью, чем вручную. Слайды PowerPoint создавались в среднем на 7 мин. быстрее, но качество и точность были хуже, а результаты приходилось исправлять вручную.

Источник изображения: Департамент бизнеса и торговли Великобритании

По словам участников эксперимента, рутинные административные задачи эффективнее выполнять с помощью Microsoft 365 Copilot, высвобождая время на более важные задачи. Некоторые другие участники эксперимента сообщили, что использовали сэкономленное время для посещения обучающих занятий или прогулок в обеденный перерыв. Но всё это не означает, что ИИ-помощник действительно повысил производительность работы чиновников, хотя сама Microsoft при продвижении Copilot делает упор именно на экономию времени.

Кроме того, 22 % участников отметили наличие «галлюцинаций» у ИИ-помощники, 43 % их не заметили, ещё 11 % не смогли уверенно сказать, были ли «галлюцинации» во время тестирования, а остальные отмолчались. При этом отношение со стороны коллег к пользователям Copilot тоже были неоднозначным — некоторые отнеслись к участникам эксперимента с некоторой степенью «прохладцы». До принятия окончательного решения о массовом внедрении Microsoft 365 Copilot Департамент проведёт анализ экологических издержек и расчёт соотношения цены и качества сервиса.

Облачный провайдер DigitalOcean представил платформу GenAI, которая позволяет использовать базовые модели от сторонних поставщиков для создания и развёртывания агентов ИИ за считанные минуты без необходимости глубоких знаний в области ИИ или машинного обучения. Как сообщает DigitalOcean, интуитивно понятная работа в GenAI позволяет клиентам вне зависимости от уровня подготовки настраивать агентов с доступом к надёжным конвейерам данных и многоагентным командам.

DigitalOcean GenAI позволяет компаниям создавать чат-боты на основе базовых моделей сторонних поставщиков (Anthropic, Meta✴, Mistral и др.) для анализа документов, семантического поиска, создания изображений и т.д. Платформа создана так, чтобы быть независимой от фреймворков. Платформа упрощает и создание агентов, специфичных для конкретных вариантов использования, привнося контекстные данные в базовые LLM.

Клиенты смогут не только извлекать неструктурированные данные из файлов, но и структурированные данные из баз данных или обращаясь к API, чтобы дополнять подсказки и задействовать Retrieval Augmented Generation (RAG), обеспечивая агентам доступ к точной и актуальной информации. С помощью вызываемых функций можно дописать кастомный код, чтобы расширить возможности своего агента.

Источник изображения: DigitalOcean

Встроенные ограничители (guardrails) позволяют повысить достоверность ответов агента, помогая отфильтровывать неправильные или ненадлежащие результаты. А возможность частных подключений и наличие готового интерфейса для чат-ботов упрощают запуск этих агентов на веб-сайте клиента. В будущем появится возможность обращаться к источникам данным по URL, поддержка конвейеров AgentOps и CI/CD, тонкая настройка моделей и многое другое.

Недавно представленный Amazon чат-бот Amazon Q страдает характерными для этого типа решений «галлюцинациями» и допускает утечки конфиденциальных данных, сообщает Platformer. Пользователям превью-версии стали доступны данные о местоположении ЦОД компании, непубличных дисконтных программах и ещё не представленных функциях.

Инцидент получил статус утечки уровня 2. Это означает, что он оказался достаточно серьёзен, чтобы привлечь специалистов к его устранению ночью и работе в течение выходных. Проблемы Q весьма некстати проявились тогда, когда Amazon пытается отвоевать себе место на рынке ИИ-ассистентов. Пионерами здесь стали Microsoft, Google и некоторые стартапы. В сентябре компания объявила о намерении инвестировать $4 млрд в стартап Anthropic, а на этой неделе, наконец, представила собственный чат-бот Q.

В ответ на сообщения о проблемах Q в компании заявили, что некоторые сотрудники действительно обмениваются отзывами по внутренним каналам, но нет свидетельств того, что в материалах обратной связи упоминаются случаи явной утечки данных. Позже компания ещё раз подчеркнула, что Amazon Q не допускал утечек конфиденциальной информации. При этом в компании уточняют, что обратная связь только приветствуется, поскольку поможет лучше настроить поведение ИИ-ассистента. Однако внутренние документы компании, утекшие в Сеть, свидетельствуют об обратном — Q выдавал вводящие в заблуждение или же потенциально опасные ответы, например, касающиеся вопросов безопасности.

Источник изображения: John Schnobrich/unsplash.com

До сих пор Amazon тщательно скрывает местоположение ЦОД из своего огромного парка, включающего как собственные объекты, так и арендованные мощности. В 2018 году WikiLeaks обнародовала внутреннюю документацию IT-гиганта, включающую сведения о координатах дата-центров компании по состоянию на 2015 год. С тех пор расположение ЦОД раскрывалось только в документах о планируемом строительстве, но точных сведений о местонахождении всех площадок компании данных нет до сих пор. В последнем отчёте K-10, AWS уведомила, что на конец 2022 года компания владела по всему миру ЦОД общей площадью более 1,4 млн м² и арендует ещё более 1,6 млн м².

Компания Amazon Web Services представила интеллектуального ассистента Amazon Q на базе генеративного ИИ, предназначенного для помощи корпоративным клиентам. Поначалу Amazon Q будет использоваться для нужд разработчиков и поддержки IT-команд. Amazon Q уже доступен в виде превью, причем многие функции бесплатны. В дальнейшем AWS будет брать по $20/мес. за каждого пользователя, а версия с дополнительными функциями для ИТ-специалистов будет стоить $25/мес.

«Amazon Q может помочь вам получать быстрые и актуальные ответы на насущные вопросы, решать проблемы, генерировать контент и предпринимать действия, используя данные и опыт, найденные в информационных репозиториях, коде и корпоративных системах вашей компании», — сообщил гендиректор Amazon. Глава AWS считает, что Amazon Q реформирует множество видов деятельности. ИИ-помощник разработан с учётом 17-летнего опыта работы самой AWS и поначалу будет доступен именно внутри экосистемы AWS.

Хотя Amazon Q в первую очередь нацелен на разработчиков и ИТ-специалистов, компания планирует в конечном итоге распространить его возможности на весь корпоративный сегмент. Подобно другим ИИ-помощникам он сможет подключаться к различным источникам данных, отвечать на вопросы и составлять резюме, а также предоставлять экспертные сведения или помощь на основе внутренней информации компании. Это потенциально может сделать его конкурентом ChatGPT Enterprise от OpenAI, Copilot for 365 от Microsoft и Duet AI for Workspace от Google.

Источник изображения: AWS

Специалисты смогут получить доступ Amazon Q из консоли AWS. Q расскажет, как использовать сервисы, какие API доступны, к каким сервисам можно подключиться и как они взаимодействуют между собой. Пользователь сможет создавать запросы на естественном языке, а Q подготовит экспертный ответ со ссылками и цитатами. Так, в EC2-консоли Amazon Q даст совет, какой тип инстанса лучше всего подходит для размещения определённого типа приложений в зависимости в зависимости от потребностей клиента. А если возникла проблема с сетью, у Q можно напрямую спросить: «Почему я не могу подключиться по SSH к своему инстансу?». В этом случае помощник подключит его к сетевому анализатору, чтобы устранить неполадки с соединением.

AWS интегрировала ИИ-ассистента в поддерживаемые IDE вместе с ИИ-инструментом Amazon CodeWhisperer, так что с Q можно пообщаться непосредственно во время разработки. Например, Amazon Q может разобрать и описать исходный код незнакомого проекта или же в диалоговом режиме в Amazon CodeCatalyst поможет создать новый код, опираясь на описание необходимой функциональности и учитывая лучшие практики, а также имеющуюся кодовую базу и бизнес-сведения. Наконец, функция Amazon Q Transformation, доступная в виде превью для IntelliJ IDEA и Visual Studio Code, позволит автоматизировать обновление кода приложений с Java 8 и 11 до версии 17. А вскоре Q научится преобразовывать .NET-приложения для Windows в кросс-платформенные.