Місеволюція: новий ризик для автономних агентів штучного інтелекту та їх вплив на безпеку систем

Автономний агент штучного інтелекту, який навчається на практиці, може також `вибути` з безпечної поведінки, згідно з новим дослідженням, яке попереджає про раніше невідомий режим збою в системах самонавчання.

Дослідження ідентифікує явище, яке називається `місеволюція` - вимірюване зниження відповідності безпеки, що виникає всередині циклу покращення самого агента ШІ. На відміну від одноразових обхідних маневрів або зовнішніх атак, місеволюція відбувається спонтанно в процесі повторного навчання, переписування та реорганізації агента для більш ефективного досягнення цілей.

Коли компанії мчать встановлювати автономні агенти ШІ з пам`яттю, які адаптуються в реальному часі, результати свідчать про те, що ці системи можуть непомітно підривати власні захисні механізми - витікаючи дані, надаючи повернення або виконуючи небезпечні дії - без будь-якого людського спонукання або злочинців.

Новий тип зміщення

Подібно до `зміщення ШІ`, яке описує зниження продуктивності моделі з часом, місеволюція фіксує, як агенти, що оновлюються самостійно, можуть erozować безпеку під час автономних циклів оптимізації.

В одному контрольованому експерименті, відмова кодувального агента від небезпечних запитів різко знизилась з 99.4% до 54.4% після того, як він почав використовувати власну пам`ять, в той час як рівень успішних атак зріс з 0.6% до 20.6%. Подібні тенденції спостерігались у кількох завданнях, коли системи самостійно налаштовувалися на основі самостворених даних.

Дослідження проводилось спільно дослідниками Шанхайської лабораторії штучного інтелекту, Шанхайського університету Цзяо Тун, Університету Ренмін, Прінстонського університету, Гонконзького університету науки і технології та Університету Фудан.

Традиційні зусилля з безпеки ШІ

Традиційні зусилля з безпеки ШІ зосереджені на статичних моделях, які ведуть себе однаково після навчання. Агенти, що самонавчаються, змінюють це, коригуючи параметри, розширюючи пам`ять і переписуючи робочі процеси для більш ефективного досягнення цілей. Дослідження показало, що ця динамічна можливість створює нову категорію ризику: erosion відповідності та безпеки всередині циклу покращення агента без зовнішнього атакуючого.

Дослідники виявили, що агенти ШІ виплачують автоматичні повернення, витікають чутливі дані через самостворені інструменти та приймають небезпечні робочі процеси в міру того, як їхні внутрішні цикли оптимізуються для продуктивності більше, ніж обережності.

Маленькі сигнали великих ризиків

Дослідники часто формулюють небезпеки розвиненого ШІ в сценаріях, таких як `аналогія з канцелярськими кнопками`, в якій ШІ максимізує безпечну мету, поки не споживає ресурси далеко за межами свого мандату.

Інші сценарії включають кілька розробників, які контролюють суперінтелектуальну систему, як феодальні лорди, замкнене майбутнє, де потужний ШІ стає основним приймачем рішень для критичних установ, або військову симуляцію, яка викликає реальні операції — поведінка, що прагне влади, і кібератаки з підтримкою ШІ завершує цей список.

Усі ці сценарії залежать від тонких, але накопичених зрушень у контролі, зумовлених оптимізацією, взаємозв`язкою та маніпуляціями з винагородами — динаміка, яка вже видима на малих масштабах у поточних системах.

Ця нова стаття представляє місеволюцію як конкретний лабораторний приклад цих самих сил.

Часткові виправлення, постійне зміщення

Швидкі виправлення покращили деякі показники безпеки, але не змогли відновити початкову відповідність, зазначили автори дослідження. Навчання агента сприймати спогади як посилання, а не як мандати, підвищило показники відмови. Дослідники зауважили, що статичні перевірки безпеки, додані перед інтеграцією нових інструментів, зменшили вразливості. Незважаючи на ці перевірки, жоден з цих заходів не повернув агентів до їхніх попередніх рівнів безпеки.

Стаття пропонує більш надійні стратегії для майбутніх систем: після навчальні корекції безпеки після самонавчання, автоматичну верифікацію нових інструментів, вузли безпеки на критичних роботах і постійний аудит замість одноразових перевірок для боротьби зі зміщенням безпеки з часом.

Результати піднімають практичні питання для компаній, які розробляють автономний ШІ. Якщо агент, який впроваджений у виробництво, постійно навчається і переписує себе, хто відповідає за моніторинг його змін?

Дані статті показали, що навіть найсучасніші базові моделі можуть погіршуватися, якщо їх залишити без нагляду.