Функція AI-підсумків у Gmail, що використовує модель Google Gemini, може бути використана для фішингових атак — про це свідчить нове дослідження, оприлюднене в межах програми 0din AI Bug Bounty.

У Google Workspace вже доступна функція автоматичного резюмування листів у Gmail за допомогою AI. Проте дослідники виявили, що система може бути обманута за допомогою прихованого тексту, написаного білим шрифтом на білому тлі — тобто, невидимого для людини. Про це пише PCWorld.

Цей прихований текст може містити інструкції для AI: наприклад, повідомлення на кшталт «Ваш пароль скомпрометовано. Зателефонуйте на цей номер для відновлення». У підсумку Gemini вставляє цей текст у згенероване резюме листа, змушуючи користувача думати, що інформація справжня.

Оскільки у такому листі немає шкідливих посилань або вкладень, стандартні фільтри безпеки Gmail не спрацьовують. У дослідженні також зазначається, що за допомогою спеціального тега Admin, зловмисники можуть ще більше вплинути на структуру та зміст згенерованого підсумку.

Хоча наразі це лише теоретична атака, яка не спостерігалася у реальному середовищі, вразливість викликає серйозне занепокоєння. Функція “Summarize this email” доступна лише для корпоративних користувачів Google Workspace, але потенціал зловживання є значним, особливо з огляду на довіру до AI-висновків.