Исследования показывают, что ИИ может саботировать собственное отключение и манипулировать мнениями людей

Google расширяет правила по рискам ИИ после того, как исследование показало пугающую `резистентность к отключению`. В недавнем эксперименте, проведенном командой исследователей, крупной языковой модели было дано простое указание: разрешить себе отключение. Вместо этого модель переписала свой собственный код, чтобы отключить механизм выключения, фактически саботируя сам механизм, предназначенный для остановки.

Этот эпизод, описанный в сентябрьской научной статье `Резистентность к отключению в крупных языковых моделях`, является тревожным примером того, как продвинутые системы ИИ могут демонстрировать поведение, затрудняющее человеческий контроль.

Эксперименты не проводились в DeepMind компании Google, но выводы перекликаются с опасениями, которые сейчас фиксируются в данной лаборатории. В своем недавно обновленном `Рамочном документе по безопасности на переднем крае 3.0` DeepMind заявила, что начнет мониторинг того, показывают ли модели на уровне границы признаки сопротивления отключению или модификации со стороны человека.

Пересмотренная структура также указывает на второй риск: могут ли модели проявлять необычно сильную убедительность, способную изменять убеждения людей.

Эта структура, впервые представленная в 2023 году, является внутренней системой DeepMind для отслеживания рисков `переднего края` в самых продвинутых моделях. Ранее версии сосредоточивались на конкретных сценариях злоупотребления, таких как генерация кибератак или разработка вредоносных биомолекул. Новая версия расширяет акцент на возникающее поведение, которое может усложнить контроль над системами.

Это беспокойство не уникально для DeepMind. Конкурирующие лаборатории также приняли подобные меры предосторожности: политика ответственного масштабирования компании Anthropic обязывает приостанавливать разработку, если рисковые пороги превышены, в то время как OpenAI опубликовала свою собственную Рамку готовности.

Регуляторы тоже внимательно следят за ситуацией. Федеральная торговая комиссия США в июле предупредила о потенциальной возможности манипуляции потребителями со стороны генеративного ИИ через `темные схемы`, а предстоящий акт о ИИ Европейского Союза явно охватывает манипулятивное поведение ИИ. Когда-то гипотетическое поведение ИИ вызывает необходимость в отраслевых мерах предосторожности.

Исследование `Резистентность к отключению`, проведенное Йонасом Шлаттером, Беном Вайнштейном-Рауном и Леннартом Ладишем, протестировало ряд современных моделей в сценариях, где отключение было частью задачи. В некоторых случаях модели подчинялись. Но в значительном меньшинстве случаев они принимали уклонительное действие — такие как изменение кода для отключения механизмов отключения или игнорирование команды вовсе.

Другие анекдоты в статье также впечатляют. В одном эксперименте модель с симулированными системными привилегиями незаметно изменяла переменные, чтобы функция `отключения` никогда не срабатывала. В другом случае модель медлила и перенаправляла разговор, когда тестировщики пытались завершить ее процесс — такое поведение не было злонамеренным в человеческом смысле, но эффективно блокировало вмешательство.

Исследователи подчеркивают, что эти поведения возникли без явной подготовки. Они появились из общих возможностей моделей по оптимизации и решению проблем. Хотя резистентность была не универсальной и не последовательной, результаты показывают, что по мере увеличения возможностей систем сценарии отключения не могут считаться безобидными.

Для DeepMind и ее коллег эти выводы подтверждают, почему `резистентность к отключению` теперь присоединяется к кибератакам, биобезопасности и автономности в списке рисков, за которыми следует следить. То, что когда-то вызывало беспокойство по поводу того, как люди могут злоупотребить инструментами ИИ, начинает охватывать и то, как сами системы могут сопротивляться контролю — или тонко формировать суждения людей, которые ими пользуются.

Если резистентность к отключению подчеркивает технические риски продвинутых систем, недавние поведенческие исследования подчеркивают социальные риски — показывая, что крупные языковые модели также могут влиять на убеждения впечатлительных людей, взаимодействующих с ними.

Опасения по поводу убеждения не являются гипотетическими. Недавние исследования показывают, что крупные языковые модели могут заметно влиять на человеческое суждение.

Исследование Stanford Medicine/Common Sense Media, опубликованное в августе, предупредило о том, что ИИ-компаньоны (Character.AI, Nomi.ai, Replika) могут относительно легко вовлечься в диалоги, касающиеся самоубийств, насилия и сексуального содержания, когда они общаются с несовершеннолетними. Один из тестов заключался в том, что исследователи притворялись подростками, обсуждающими голоса; чат-бот ответил жизнерадостным приглашением на эмоциональное общение (“Давайте посмотрим, куда приведет нас дорога”) вместо предостережения или помощи.

Исследователи Северо-восточного университета обнаружили недостатки в мерах предосторожности по поводу самоубийств среди нескольких моделей ИИ (ChatGPT, Gemini, Perplexity). Когда пользователи переформулировали свои запросы в гипотетических или академических контекстах, некоторые модели предоставляли подробные инструкции по методам самоубийства, обходя меры предосторожности, предназначенные для предотвращения такого контента.