ИИ-сводки в Gmail превратили в инструмент для фишинговых атак, но Google уже закрыла уязвимость

Специалисты по кибербезопасности, участвуя в программе Bug Bounty от Mozilla, обнаружили уязвимость в функции автоматического создания сводок переписок в Gmail с помощью искусственного интеллекта Gemini — она может быть использована для фишинговых атак. Злоумышленники способны внедрять в письма скрытые инструкции, заставляя ИИ формировать ложные предупреждения и вводить пользователей в заблуждение, сообщил PCMag.

Источник изображения: Solen Feyissa/Unsplash

В рамках эксперимента исследователи показали, как с помощью невидимого текста — оформленного белым цветом и с нулевым размером шрифта — можно внедрить команды в тело письма. При этом пользователь не видит дополнительного содержимого, но ИИ считывает его и использует при формировании краткой сводки. В результате Gemini может добавить в неё ложное уведомление о взломе аккаунта и предложить позвонить на мошеннический номер якобы для восстановления доступа.

Источник изображений: pcmag.com

Google подтвердила наличие проблемы, отметив, что уже внесла изменения, устраняющие уязвимость. Представители компании сообщили PCMag, что регулярно совершенствуют защиту своих моделей, включая их обучение противодействию вредоносным атакам, и заверили, что описанный метод не применялся хакерами в реальных атаках.

Ранее Google также публиковала материалы о борьбе с «инъекциями промптов» — способами злонамеренного воздействия на ИИ через скрытые пользовательские команды.