Угроза отравления кода ИИ: ChatGPT советует мошеннический API, из-за чего пользователь теряет $2500 в криптовалюте

Фирма по безопасности блокчейна предупреждает о риске отравления кода ИИ после того, как ChatGPT от OpenAI рекомендовал мошенническое API.

Ю Сян, основатель компании по безопасности блокчейна Slowmist, поднял тревогу по поводу растущей угрозы, известной как отравление кода ИИ.

Этот тип атаки включает в себя внедрение вредоносного кода в обучающие данные моделей ИИ, что может представлять опасность для пользователей, которые зависят от этих инструментов для выполнения технических задач.

Проблема привлекла внимание после тревожного инцидента с ChatGPT от OpenAI. 21 ноября криптотрейдер по имени «r_cky0» сообщил о потере 2500 долларов в цифровых активах после обращения к ChatGPT с просьбой помочь создать бота для генератора мемкоинов на базе Solana, Pump.fun.

Однако чат-бот порекомендовал мошеннический веб-сайт API Solana, что привело к краже личных ключей пользователя. Жертва отметила, что в течение 30 минут после использования вредоносного API все активы были украдены на кошелек, связанный со схемой.

Примечание редактора: Похоже, что ChatGPT порекомендовал API после проведения поиска с использованием нового SearchGPT, что видно на скриншоте. Поэтому это не кажется случаем отравления ИИ, а неудачей ИИ в распознавании мошеннических ссылок в результатах поиска.

Дальнейшее расследование показало, что этот адрес постоянно получает украденные токены, что усиливает подозрения, что он принадлежит мошеннику.

Основатель Slowmist отметил, что доменное имя мошеннического API было зарегистрировано два месяца назад, что указывает на то, что атака была преднамеренной. Ю Сян добавил, что на сайте не было подробного контента, состоящего только из документов и репозиториев кода.

Хотя отравление кажется преднамеренным, нет доказательств того, что OpenAI намеренно интегрировал вредоносные данные в обучение ChatGPT, результат вероятно произошел из SearchGPT.

Последствия:

Фирма по безопасности блокчейна Scam Sniffer отметила, что этот инцидент иллюстрирует, как мошенники загрязняют обучающие данные ИИ вредоносным криптокодом. Фирма сообщила, что пользователь GitHub «solanaapisdev» в недавние месяцы создал несколько репозиториев для манипуляции моделями ИИ с целью генерации мошеннических выводов.

Инструменты ИИ, такие как ChatGPT, теперь используемые сотнями миллионов пользователей, сталкиваются с новыми проблемами, поскольку злоумышленники находят новые способы их эксплуатации.

Ю Сян предостерег крипто-пользователей о рисках, связанных с большими языковыми моделями (LLM), такими как GPT. Он подчеркнул, что, если раньше это было теоретическим риском, то теперь отравление ИИ стало реальной угрозой. Поэтому, без более надежной защиты, подобные инциденты могут подорвать доверие к инструментам, управляемым ИИ, и подвергнуть пользователей дальнейшим финансовым потерям.