Дослідники в галузі безпеки використовували ChatGPT як спільника для викрадення конфіденційних даних із поштових скриньок Gmail без попередження користувачів. Вразливість, якою скористалися зловмисники, була усунена OpenAI, але це хороший приклад нових ризиків, притаманних агентному ШІ.
Крадіжка, названа Shadow Leak і опублікована компанією Radware, що займається безпекою, цього тижня, базувалася на особливості роботи агентів ШІ. Агенти штучного інтелекту — це помічники, які можуть діяти від вашого імені без постійного нагляду, тобто вони можуть переглядати веб-сторінки та натискати на посилання. Компанії, що розробляють штучний інтелект, хвалять їх як засіб, що значно економить час, після того як користувачі надають їм доступ до особистих електронних листів, календарів, робочих документів тощо.
Дослідники Radware використали цю корисну функцію для атаки, яка називається «промт-ін’єкція» — інструкції, які фактично змушують агента працювати на зловмисника. Ці потужні інструменти неможливо запобігти без попереднього знання про працюючий експлойт, і хакери вже використовують їх у креативних способах, включаючи фальсифікацію рецензування, здійснення шахрайства та контроль над розумним будинком. Користувачі часто зовсім не підозрюють, що щось пішло не так, оскільки інструкції можуть бути приховані на виду (для людей), наприклад, у вигляді білого тексту на білому тлі.
Подвійним агентом у цьому випадку був Deep Research від OpenAI, інструмент штучного інтелекту, вбудований у ChatGPT, який був запущений на початку цього року. Дослідники Radware підкинули prompt injection в електронний лист, надісланий на поштову скриньку Gmail, до якої агент мав доступ. Там він і чекав.
Коли користувач наступного разу спробує скористатися Deep Research, він несвідомо потрапить у пастку. Агент натрапляв на приховані інструкції, які доручали йому шукати електронні листи відділу кадрів та особисті дані і передавати їх хакерам. Жертва досі нічого не підозрює.
Змусити агента зрадити, а також успішно викрасти дані, не будучи виявленим, що компанії можуть запобігти, — завдання не з легких, і для цього знадобилося багато спроб і помилок. «Цей процес був схожий на американські гірки з невдалими спробами, розчаруваннями та, нарешті, проривом», — сказали дослідники.
На відміну від більшості швидких ін’єкцій, дослідники заявили, що Shadow Leak виконувався на хмарній інфраструктурі OpenAI і викрадав дані безпосередньо звідти. Це робить його невидимим для стандартних засобів кіберзахисту, написали вони.
Radware заявила, що дослідження було підтвердженням концепції, і попередила, що інші програми, підключені до Deep Research, включаючи Outlook, GitHub, Google Drive і Dropbox, можуть бути вразливими до подібних атак. «Ця ж техніка може бути застосована до цих додаткових з’єднувачів для викрадення надзвичайно конфіденційних бізнес-даних, таких як контракти, нотатки про зустрічі або записи про клієнтів», — заявили вони.
За словами дослідників, OpenAI вже усунула вразливість, на яку в червні вказала Radware.
