OpenAI запустила ChatGPT Agent: автономный ИИ с рисками кибербезопасности и новыми угрозами для пользователей.

OpenAI представила свой самый автономный инструмент ИИ на сегодняшний день: версию ChatGPT, которая может просматривать веб, запускать приложения и выполнять реальные задачи с минимальным или отсутствующим участием человека. Но с этим скачком в возможностях приходит резкое предупреждение: эта технология может также создать новую волну угроз безопасности.

Запущенный в четверг,ChatGPT Agent позволяет пользователям делегировать сложные задачи, такие как планирование отпусков, бронирование гостиничных номеров, исследование конкурентов, создание слайд-презентаций и даже размещение онлайн-заказов.

Функция начнет внедряться сегодня для пользователей Pro, Plus и Team.

Для выполнения задач агент использует виртуальный компьютер и единый набор инструментов, включая текстовый браузер, терминал и доступ к сторонним приложениям, таким как Google Drive и GitHub. Виртуальный компьютер — это смоделированная вычислительная среда, работающая в облаке, которую агент ChatGPT может контролировать самостоятельно — как бы предоставляя ИИ свою собственную приватную `песочницу` для выполнения реальной работы.

“Я думаю, что это новый уровень возможностей в ИИ”, — сказалСэм Олтман, генеральный директор OpenAI, во время демонстрации в прямом эфире, проведенной членами команды, разработавшими продукт. Прямой эфир также был примечателен, однако, из-за количества предостережений OpenAI.

“Это новый способ использования ИИ, но с этим появится новый набор атак”, — отметил Олтман. “Обществу и технологиям придется эволюционировать и учиться, как мы будем смягчать вещи, которые мы даже не можем представить, когда люди начнут выполнять все больше задач таким образом.”

Один из примеров: агент может исследовать покупку, найти товар на фишинговом сайте и предоставить данные кредитной карты пользователя. Чтобы смягчить эту проблему, в текущем релизе предусмотрено несколько защитных мер, которые, например, не позволят загрузить информацию о кредитной карте, пока пользователь не одобрит это вручную.

“Мы обучили модель игнорировать подозрительные инструкции на рискованных веб-сайтах”, — сказалаКейси Чу, исследователь OpenAI. “У нас также есть мониторы, которые следят за поведением агента и останавливают его, если что-то кажется подозрительным.”

Чу добавила, что хотя системы защиты могут обновляться в реальном времени, агент ChatGPT все еще является “передовым продуктом”, который открывает двери для новых форм эксплуатации.

“Важно, чтобы пользователи понимали риски и обдуманно относились к информации, которую они делятся,” — сказал он.

ВыпускChatGPT Agent происходит в то время, когда разработчики ИИ работают над тем, чтобы наделить виртуальных помощников все более мощными возможностями. В средуGoogle запустила новую функцию с поддержкой ИИ в Google Search, которая позволяет ИИ Gemini совершать телефонные звонки в бизнесе от имени пользователей.

“ChatGPT Agent все еще находится на ранней стадии, и мы используем это время, чтобы учиться на реальном использовании, чтобы улучшить как продукт, так и наши меры предосторожности,” — сообщил представитель OpenAI изданию Decrypt. “Текущая система отражает наш нынешний подход, но мы готовимся к следующему шагу и будем продолжать делиться обновлениями, чтобы сделать агента лучше и безопаснее.”

Эксперты в области кибербезопасности также выразили опасения по поводу последствий автономных агентов.

“Повышенные опасения оправданы, потому что агент имеет подразумеваемые полномочия раскрывать личные идентификаторы во время диалога,” — сказалНик Адамс, соучредитель и генеральный директор кибербезопасной компании 0rcus. “Пользователи должны предоставлять четкие, отзывные разрешения, такие как целевой бизнес, цель, допустимые элементы данных и срок действия.”

Что касается лучших практик, Адамс предложил, чтобы после выполнения агент предоставлял полный транскрипт для одобрения, прежде чем хранить любую информацию дольше положенного по закону.

“Тихое, общее согласие перенесет ответственность на пользователя без значительного контроля,” — пояснил он. “Поэтому необходима модель подтверждения для каждой задачи.”

Помимо рисков, связанных с тем, что агенты ИИ могут совершать покупки или планы, исследователи OpenAI согласились с тем, что этот уровень автономии вводит новые угрозы, особенно атаки с инъекцией подсказок, когда вредоносные данные обманывают ИИ, заставляя его утекать данные, распространять дезинформацию или предпринимать несанкционированные действия.

Чтобы смягчить эти риски, OpenAI разработала режим захвата, который, как следует из названия, дает пользователям возможность взять управление у агента и вводить информацию самостоятельно, а не полагаться на агента. В некоторых случаяхChatGPT Agent будет запрашивать явное одобрение пользователя перед выполнением важных действий, таких как совершение покупок или доступ к конфиденциальным данным.

“Мы создали мощный инструмент, но пользователям нужно оставаться осторожными,” — сказала Чу.