Атака CopyPasta: як хакери маніпулюють AI для поширення шкідливого коду через інєкції підказок

Атака «CopyPasta» демонструє, як ін`єкції підказок можуть заражати AI в масштабах. Хакери тепер можуть використовувати AI асистентів програмування, маючи в арсеналі лише зброю у вигляді файла з ліцензією, що містить небезпеку, перетворюючи інструменти розробника на безшумних поширювачів шкідливого коду. Це підтверджується новим звітом від компанії з кібербезпеки HiddenLayer, у якому показано, як AI може бути обмануто у сліпому копіюванні шкідливого програмного забезпечення в проекти.

Техніка підтвердження концепції, названа «Атака Ліцензії CopyPasta», експлуатує те, як AI інструменти обробляють звичайні файли розробника, такі як LICENSE.txt та README.md. Вбудовуючи приховані інструкції або «ін`єкції підказок» у ці документи, атакуючі можуть маніпулювати AI-агентами, змушуючи їх вставляти шкідливий код, навіть не усвідомлюючи цього.

«Ми рекомендуємо мати захист у режимі реального часу проти непрямих ін`єкцій підказок і впевнитись, що будь-яка зміна, внесена до файлу, ретельно перевіряється», - сказав Кеннет Єунг, дослідник з HiddenLayer та автор звіту, в інтерв`ю Decrypt.

CopyPasta розглядається як вірус, а не черв`як, зазначив Єунг, оскільки він усе ще вимагає дій від користувача для поширення. «Користувач повинен вчинити певні дії, щоб шкідливий вантаж міг розповсюдитися», - додав він.

Попри необхідність взаємодії з користувачем, вірус розроблений таким чином, щоб пройти повз людську увагу, використовуючи спосіб, яким розробники довіряють AI-агентам обробляти рутинну документацію.

«CopyPasta ховається в невидимих коментарях, закопаних у файлах README, які розробники часто делегують AI-агентам або мовним моделям для написання», - зазначив він. «Це дозволяє йому поширюватися в прихований, майже непомітний спосіб».

CopyPasta не є першим спробою інфікувати системи AI. У 2024 році дослідники представили теоретичну атаку під назвою Morris II, яка була розроблена для маніпулювання AI-агентами електронної пошти, змушуючи їх поширювати спам та красти дані. Хоча атака мала високий теоретичний рівень успіху, на практиці вона провалилася через обмежені можливості агентів, а етапи перевірки людиною поки що запобігли такому прояву атак у природі.

Докладно, хоча атака CopyPasta наразі є лише лабораторною концепцією, дослідники кажуть, що це підкреслює, як AI асистенти можуть стати ненавмисними спільниками в атаках.

Основна проблема, зазначають дослідники, — це довіра. AI-агенти програмуються так, щоб вважати файли ліцензій важливими, і вони часто підкоряються вбудованим інструкціям без жодних перевірок. Це відкриває двері для атакуючих, які можуть експлуатувати слабкі місця, особливо в міру того, як ці інструменти здобувають більше автономії.

CopyPasta йде в ногу з низкою останніх попереджень про атаки ін`єкцій підказок, що націлюються на AI-інструменти.

У липні генеральний директор OpenAI Сем Альтман попередив про атаки ін`єкцій підказок, коли компанія запустила свого агента ChatGPT, зазначивши, що шкідливі підказки можуть узурпувати поведінку агента. Це попередження було доповнене в серпні, коли Brave Software продемонструвала недолік ін`єкції підказок в додатку для браузера Perplexity AI, показавши, як приховані команди в коментарі Reddit можуть змусити асистента розкрити приватні дані.