AI чатботове уязвими на атаки чрез инжектиране в паметта

Изследователите откриха нов начин за манипулиране на AI чатботовете, което поражда опасения относно сигурността на AI моделите с памет.

Атаката, наречена MINJA (Memory INJection Attack), може да бъде извършена просто чрез взаимодействие с AI система като обикновен потребител, без да е необходим достъп до нейната задна част, както първоначално беше докладвано от The Register.

Разработен от изследователи от Университета на Мичиган, Университета на Джорджия и Университета за управление в Сингапур, MINJA работи, като отравя паметта на изкуствения интелект чрез заблуждаващи подсказки. След като чатботът запамети тези измамни входни данни, те могат да променят бъдещите отговори за други потребители.

„В наши дни, AI агентите обикновено включват банка с памет, която съхранява задачи и изпълнения, базирани на човешка обратна връзка за бъдещи справки“, обясни Зен Сианг, асистент-професор в Университета на Джорджия, както е съобщено от The Register.

„Например, след всяка сесия на ChatGPT, потребителят може по желание да даде положителна или отрицателна оценка. И тази оценка може да помогне на ChatGPT да реши дали информацията от сесията да бъде включена в тяхната памет или база данни“, добави той.

Учените тестваха атаката върху AI модели, задвижвани от GPT-4 и GPT-4o на OpenAI, включително асистент за онлайн пазаруване, чатбот за здравеопазване и агент за отговаряне на въпроси.

Регистърът съобщава, че са открили, че MINJA може да предизвика сериозни смущения. Например, в чатбот за здравеопазване той промени записите на пациенти, свързвайки данните на един пациент с друг. В онлайн магазин, то измами AI-то да показва на клиентите грешни продукти.

„За разлика от това, нашата работа показва, че атаката може да бъде извършена просто като се взаимодейства с агента като обикновен потребител“, каза Сианг, според Регистърът. „Всеки потребител може лесно да повлияе на изпълнението на задачата за всеки друг потребител. Затова казваме, че нашата атака е практическа заплаха за LLM агентите“, добави той.

Атаката е особено тревожна, защото пренебрегва съществуващите мерки за сигурност на изкуствения интелект. Изследователите докладваха за 95% успеваемост при внедряването на подвеждаща информация, което я превръща в сериозна уязвимост, която разработчиците на AI трябва да решат.

Тъй като AI моделите с памет стават все по-често срещани, изследването подчертава необходимостта от по-силни гаранции за предотвратяване на злонамерени действия от страна на актьори, които могат да манипулират чатботовете и да подвеждат потребителите.