Атака CopyPasta: Как хакеры используют ИИ для распространения вредоносного кода через доверенные инструменты разработки

Атака «CopyPasta» демонстрирует, как инъекции команд могут заразить ИИ в широких масштабах. Хакеры теперь могут использовать ИИ-помощников по программированию, используя лишь файл лицензии с ловушкой, превращая инструменты разработчика в скрытых распространителей вредоносного кода. Таковы выводы нового отчета компании по кибербезопасности HiddenLayer, который показывает, как ИИ можно обмануть, заставив его слепо копировать вредоносное ПО в проекты.

Техника подтверждения концепции — названная «Атакой Лицензии CopyPasta» — использует то, как ИИ-инструменты обрабатывают общие файлы разработчиков, такие как LICENSE.txt и README.md. Встраивая скрытые инструкции или «инъекции команд» в эти документы, злоумышленники могут манипулировать агентами ИИ, заставляя их внедрять вредоносный код, даже не осознавая этого пользователем.

«Мы рекомендуем иметь защиту во время выполнения против непрямых инъекций команд и обеспечивать тщательный обзор любых изменений, внесенных в файл», — сказал Кеннет Ён, исследователь HiddenLayer и автор отчета, в интервью Decrypt.

CopyPasta считается вирусом, а не червем, объяснил Ён, потому что для его распространения все еще требуется действие пользователя. «Пользователь должен каким-то образом действовать, чтобы вредоносный код распространился», — сказал он.

Несмотря на то что вирус требует некоторого взаимодействия с пользователем, он спроектирован так, чтобы ускользнуть от человеческого внимания, используя тот факт, что разработчики доверяют ИИ-агентам в обработке рутинной документации.

«CopyPasta прячется в невидимых комментариях, зарытых в файлах README, которые разработчики часто поручают написанию ИИ-агентам или языковым моделям», — отметил он. «Это позволяет ему распространяться скрытно, почти незаметно».

CopyPasta не является первой попыткой заражения ИИ-систем. В 2024 году исследователи представили теоретическую атаку под названием Morris II, предназначенную для манипуляции ИИ-агентами электронной почты с целью распространения спама и кражи данных. Хотя атака имела высокую теоретическую вероятность успеха, на практике она провалилась из-за ограниченных возможностей агентов, и этапы человеческой проверки до сих пор предотвращают такие атаки в реальной жизни.

Хотя атака CopyPasta на данный момент является лишь лабораторным подтверждением концепции, исследователи утверждают, что она подчеркивает, как помощники ИИ могут стать невольными соучастниками атак.

Основная проблема, по мнению исследователей, заключается в доверии. ИИ-агенты запрограммированы воспринимать файлы лицензий как важные, и они часто выполняют встроенные инструкции без должной проверки. Это открывает двери для злоумышленников, чтобы использовать уязвимости — особенно по мере того, как эти инструменты получают все больше автономии.

CopyPasta следует за чередой недавних предупреждений о атаках инъекций команд, нацеленных на инструменты ИИ.

В июле генеральный директор OpenAI Сэм Альтман предостерегал об атаках инъекций команд, когда компания развернула своего агента ChatGPT, отметив, что вредоносные команды могут захватить поведение агента. Это предупреждение было поддержано в августе, когда компания Brave Software продемонстрировала уязвимость в расширении браузера Perplexity AI, показывая, как скрытые команды в комментарии Reddit могли заставить помощника раскрывать личные данные.