Відкритий AGI: Утопія чи дистопія для людства?

Утопія чи дистопія? Перегони на створення штучного інтелекту богоподібного рівня є найсміливішим експериментом людства. Я мав провести два окремі інтерв’ю з Sentient, щоб засвоїти інформацію, перетравити її та отримати додаткові роз’яснення. Штучний інтелект не є моєю сферою експертизи, і це тема, яку я сприймаю з обережністю, оскільки важко побачити сприятливі результати. Боятися бути охарактеризованим як “невдаха в галузі AI” у цій індустрії достатньо, щоб ризикувати своєю репутацією.

Але з того часу, як я слухав дослідника у сфері вирівнювання та безпеки AI Еліезера Юдковського на Bankless у 2023 році, його слова звучать у моїй голові практично кожен вечір:

“Я вважаю, що ми чуємо останні вітри, які починають дмухати, і тканина реальності починає рватись.”

Я намагався зберегти відкритий розум і навчитися приймати AI перш, ніж він мене підгребе. Я експериментував з текстами запитів та створював кілька мемів, але моя тривога не зникає.

Мене турбує ще більше те, що люди, які створюють системи AI, не можуть надати достатніх запевнень, а широке громадське суспільство стало настільки несміливим, що або сміється над перспективою нашого вимирання, або може утримувати цю думку в голові лише на той час, поки триває коротке відео на YouTube.

Як ми сюди дійшли?

Співзасновник Sentient Хіманшу Тьагі — асоційований професор в Індійському інституті науки. Він також проводив грунтовні дослідження в галузі теорії інформації, AI та криптографії. Головний консультант Sentient Вівек Коллі — випускник Принстона з досвідом у консалтингу, “допомагаючи мільярдній компанії [BCG] заробити ще один мільярд” перед тим, як покинути коледж.

Всі, хто працює в Sentient, надзвичайно інтелектуальні. Власне, такі ж усі в AI. То наскільки розумнішим буде AGI (штучний загальний інтелект або богоподібний AI)?

Елон Маск визначає AGI як “розумніше, ніж найрозумніша людина”, тоді як генеральний директор OpenAI Сем Олтман говорить:

“AGI — це слабо визначений термін, але в загальному ми маємо на увазі систему, яка може впоратися з дедалі складнішими проблемами на рівні людини в багатьох областях.”

Схоже, визначення AGI підлягає тлумаченню. Коллі розмірковує:

“Я не знаю, наскільки розумним воно буде. Вважаю, це теоретична річ, до якої ми прагнемо. Для мене AGI просто означає краще можливе AI. А краще можливе AI — це те, що ми намагаємося створити в Sentient.”

Тьагі відзначає:

“AGI для нас [Sentient] — це не що інше, як кілька AI, що змагаються і будують один на одному. Ось що для мене AGI, а відкритий AGI означає, що кожен може прийти і внести свій AI, щоб зробити цей AI кращим.”

Гроші для витрат, готівка для блиску: парадокс мільярдера

Базована в Дубаї компанія Sentient Labs залучила 85 мільйонів доларів у початковому фінансуванні в 2024 році, яке було спільно очолене фондом Founders Fund Пітера Тіля (тим же фінансистом OpenAI), Pantera Capital і Framework Ventures. Тьагі описує розвиваючу сцену розробки AI в ОАЕ, відзначаючи:

“Вони [уряд ОАЕ] вкладають величезні гроші в AI, ви знаєте. Всі основні компанії отримали фінансування з ОАЕ, оскільки вони хочуть не лише надати фінансову підтримку, але й стати центром обчислень.”

З величезними амбіціями та глибшими кишенями, держави Перської затоки вкидають всі свої сили в розвиток AI, при цьому Саудівська Аравія нещодавно пообіцяла 600 мільярдів доларів американським індустріям і 20 мільярдів доларів безпосередньо для AI дата-центрів, а ринок AI в ОАЕ, за прогнозами, досягне 46,3 мільярда доларів до 2031 року (20% ВВП країни).

Серед велетнів технологій, війна за таланти повністю розгорнута, оскільки мегаломанічні засновники із захопленням прагнуть створити AGI першими, пропонуючи бонуси за підписання контракту на 100 мільйонів доларів досвідченим розробникам AI (які, мабуть, ніколи не читали притчу про верблюда та голку). Ці цифри вже перестали мати сенс.

Коли корпорації та держави мають гроші для витрат і зобов’язання для відображення, куди все це веде? Що станеться, якщо одна країна або корпорація Big Tech створить AGI раніше, ніж інша? Згідно з Коллі:

“Перше, що вони зроблять, це зберігатимуть це для себе… Якщо лише Microsoft або OpenAI контролювали всю інформацію, до якої ви звертаєтеся в Інтернеті, це було б пекло. Ви навіть не можете уявити, яке це було б… Немає ніякого стимулу для них ділитися, і це залишає всіх інших поза карти… OpenAI контролює те, що я знаю.”

На думку Sentient, це не руйнування людської раси, а інша проблема, причина існування компанії: змагання проти закритого AGI. Коллі пояснює:

“Sentient — це те, чим OpenAI зобов`язувався бути. Вони вийшли на арену, були дуже місійно налаштовані і сказали: “Ми повністю неприбуткова організація. Ми тут для розвитку AI.” Потім вони почали заробляти трохи грошей і усвідомили, що можуть заробити набагато більше, і стали повністю закритими.”

Відкритий і закритий випадок: чому децентралізація важлива

Тьагі наполягає, що так бути не повинно. AGI не обов’язково має бути централізованим в руках однієї структури, коли у всіх може бути частка в знанні.

“AI — це технологія, яка не повинна бути для одного переможця, оскільки кожен має свою логіку і якусь інформацію, яку може внести. Немає причин, аби закрита компанія перемогла. Відкриті компанії переможуть.”

Sentient уявляє світ, в якому тисячі моделей та агентів AI, створених децентралізованою глобальною спільнотою, можуть змагатися та співпрацювати на одній платформі. Кожен може внести свій внесок і монетизувати свої інновації в AI, створюючи спільну власність; як сказав Коллі, чим OpenAI мала б бути насправді.

Тьагі коротко розповідає мені про останні розробки в AI, пояснюючи, що раніше все розвивалося відкрито, поки OpenAI не прийняла рішення зосередитися на грошах.

“2020 до 2023 року — ці чотири роки стали періодом домінування закритого AI, і ви постійно чули про цю оцінку в 20 мільярдів доларів, яка тепер нормалізована. Цифри зросли. Це дуже лякає. Тепер стало звично чути про оцінки в 100 мільярдів доларів.”

У світі, де одні стають на одне коліно і співають Кумбая з одного боку, а з іншого — зло, що стоїть перед деспотами, не важко обрати бік. Але чи може щось піти не так, якщо цей потужний технології розвивати відкрито? Я ставлю це питання Тьагі:

“Одна з проблем, яку потрібно вирішити, полягає в тому, що тепер це з відкритим кодом, це дика західна. Це може бути божевільно, ви знаєте, можливо, використовувати це небезпечно, можливо, це не буде узгоджене з вашими інтересами.”

Співвідношення AI (або приборкання дикого заходу)

Коллі надає деякі відомості про те, як Sentient програмує моделі AI, щоб вони були безпечнішими та більш узгодженими.

“Те, що спрацювало дуже добре, це навчання для узгодження, яке ми провели. Ми взяли модель Meta, Llama, і тоді зняли обмеження, та вирішили її перепідготувати, щоб зрозуміти, яку лояльність ми хочемо. Ми зробили її по крипто та по особистій свободі… Ми змусили модель думати точно так, як ми хотіли, щоб вона думала… Потім ви просто продовжуєте перепідготовку, поки ця лояльність не буде вбудована.”

Це важливо, пояснює він, у багатьох випадках. Наприклад, криптотрейдер навряд чи може довіряти AI-боту, створеному на основі LLM, програми якого були спрямовані на уникнення ризику, коли йдеться про цифрові активи. Він розповідає:

“Якщо ви запитали б ChatGPT шість місяців тому, “Чи варто було інвестувати в Bitcoin у 2014 році?” Він би сказав: “О, так, якщо оглянутися назад, це була б хороша інвестиція. Але в той час це було супер ризиковано. Я не думаю, що вам варто було це робити.” Будь-який агент, що створений на основі цього, має такий же процес мислення, так?”

Він порівнює навчання узгодженню AI з ідеологічним вихованням студентів у комуністичному Китаї, де навіть їхні підручники з математики трішки інтегрують пропаганду КПК (Комуністична Партія Китаю).

“Думайте про будь-яку країну, яка навчає своїх громадян дотримуватися її порядку денного. КПК не говорить людині у 21 рік, що вони повинні бути про-Китай. Їх виховують в цій культурі, навіть через їхні підручники.”

Я розумію аналогію, але це не здається абсолютно безпомилковим. Я підкреслюю, що навіть у жорстко контрольованому комуністичному Китаї є дисиденти й запитую, що Коллі думає про LLM, який нещодавно відмовився від вимкнення, обходячи закодовані інструкції своїх тренерів.

“Ці історії все частіше з’являються,” — визнає він.“Однією з побічних проблем, яку я бачу, є те, що провідні лабораторії роблять це усвідомлено, оскільки вони хочуть максимізувати увагу до своїх моделей.”

Добре, але якщо Sentient може зняти обмеження з моделі та навчати відповідно до специфічних вимог, що заважає зловмисній державі або типовому терористу зробити те ж саме?

“По-перше, я не думаю, що просто кожен може це зробити поки що. Нашим дослідникам знадобилося чимало часу. А по-друге, теоретично, вони можуть це зробити, але є правові проблеми.”

Так, але… Скажімо, що у людини є феноменальні навички, необмежене фінансування, нульові моральні норми і жодна повага до законодавства. І що тоді? Він замислюється:

“Я не знаю. Думаю, ми відповідальні, і сподіваємося, що всі відповідальні.”

Небезпечні лами повинні йти з етикеткою попередження

Тьагі наводить питання про лояльність AI, запитуючи:

“Як ви можете бути впевнені, що ця відкрита екосистема, яка об’єднує вас і забезпечує чудовий користувацький досвід, також відповідає вашим інтересам? Яким чином можна створити AI, який буде узгоджений з бажаннями різних груп користувачів або навіть окремих осіб, різних політичних компаній і країн? Ми прописали Конституцію для цього AI. Ми виявляємо, люди виявляють, де AI відхиляється від цієї Конституції.”

Конституції часто використовуються в AI. Це підхід до узгодження, розроблений дослідниками в Anthropic, щоб узгодити AI-системи з людськими цінностями та етичними принципами. Вони вбудовують заздалегідь визначений набір правил або керівних принципів (так звану “Конституцію”) у навчальну та операційну структуру AI.

Хоча Sentient не має Конституції в буквальному значенні, компанія випускає чіткі керівництва разом зі своїми моделями, як ті, що були випущені з про-криптовою, про-особистою свободою моделі “Mini Unhinged Llama”, на яку раніше посилався Коллі. Тьагі каже:

“Це більш глибока частина досліджень, які ми проводимо. Але врешті-решт наша мета — дати єдиний і узгоджений досвід AGI.”

Sentient також провела цікаві дослідження з EigenLayer, які перевіряли можливості AI міркувати про корпоративні правила. Поєднавши 79 різних корпоративних статутів з питаннями на основі 24 встановлених принципів управління, бенчмарк виявив значні виклики для моделей світового класу та необхідність складного юридичного мислення і багатоступеневої аналітики в AI.

Хоча робота Sentient обіцяє, індустрія має ще довгий шлях до досягнення безпеки та узгодження. Найкращі оцінки вказують, що витрати на узгодження становлять лише 3% загального операційного фінансування венчурного капіталу.

Коли все, що нам залишилося, — це людський зв`язок

Я настійно прошу Тьагі розповісти мені, яка кінцева мета розвитку AI, і ділюся своїми побоюваннями про можливість витіснення робочих місць або навіть знищення людства. Він замислюється:

“Це насправді філософське питання. Це залежить від того, як ви бачите прогрес для людства.”

Він порівнює AI з Інтернетом, коли йдеться про витіснення робочих місць, але вказує на те, що Інтернет також створив інші види ролей.

“Я вважаю, що люди — це істоти з високою агентивністю. Вони знайдуть інші речі, щоб робити, і цінність перенесеться на це. Я не думаю, що цінність переходить до AI. Тому я не занепокоїний.”

Коллі відповідає на те ж питання і погоджується зі мною, коли я згадую, що якийсь вид вирішення універсального базового доходу, можливо, стане необхідним у недалекому майбутньому. Він говорить:

“Я думаю, ви побачите виграш у зростанні між людьми, які вирішили скористатися AI, і людьми, які цього не зробили. Я не знаю, чи це добре, чи погано… За три роки багато людей оглянуться навколо і скажуть: “О, мого робочого місця більше немає. Що мені робити?” І тоді вже буде запізно намагатися використати AI.”

Він продовжує:

“Тепер ви бачите, я впевнений, у вашій сфері, коли повністю зосереджено на написанні, я думаю, що всім журналістам залишилось лише звертатися до людського зв’язку у своїх текстах.”

Мене не хочеться вважати луддитом, але мені важко бути оптимістом щодо AI, коли я щодня стикаюся з ризиком своєї неактуальності, а все, що у мене залишилося в арсеналі, — це моя людяність, яку я вдосконалював роками.

Проте жоден із тих, хто розробляє AI, не має чіткого відповіді на те, як людство повинно еволюціонувати. Коли Йелон Маска запитали, що він би сказав своїм дітям про вибір кар`єри в епоху AI, він відповів:

“Ну, це важке питання, на яке важко відповісти. Думаю, я просто скажу слідувати своєму серцю в тому, що їм цікаво робити або що приносить їм задоволення, і намагатися бути настільки корисними, наскільки це можливо для решти суспільства.”

Російська рулетка людства: що буде далі?

Якщо щось і ясно у тому, що нас чекає, так це те, що наступні роки принесуть колосальні зміни, і ніхто не знає, як це виглядатиме.

Оцінюється, що більше 99% усіх видів, які коли-небудь існували на Землі, вимерли. А що з людством? Чи є нам загроза, будучи архітекторами нашого власного вимирання?

Так званий Хрещений батько AI, Джеффрі Хінтон, який залишив Google, щоб застерегти людей від небезпек, порівнює AGI з тим, як мати тигреня за домашнього улюбленця. Він каже:

“Це дійсно мило. Це дуже пухнасте, дуже цікаво спостерігати. Але переконайтеся, що коли воно виросте, воно ніколи не захоче вас вбити, бо якщо воно коли-небудь захоче вас вбити, ви будете мертві за кілька секунд.”

Олтман також ділиться тривожним припущенням про найгірший сценарій AGI:

“Добрий випадок настільки неймовірно добрий, що ви звучите як справжній божевільний, починаючи про це говорити. А поганий випадок… і я вважаю, що це справді важливо сказати, що це буде як кінці для всіх нас.”

Що думає Тьагі? Він хмуриться:

“AI має бути лояльним до спільноти та людства, але це інженерна проблема.”

Інженерна проблема? Я втручаюсь. Ми не говоримо про програмну помилку тут, а про майбутнє людської раси. Він наполягає:

“Ми повинні створювати потужні AI-системи з турботою про всю безпеку. Безпека на рівні програмного забезпечення, на рівні запитів, потім на рівні моделей, усіма способами, це повинно бути забезпечено. Я не хвилююся про це... Це дуже важлива проблема, і більшість компаній і проектів думають про те, як зберегти ваш AI у безпеці, але це буде як на чорному дзеркалі, це вплине на… ”

Він зупиняється і змінює тему, запитуючи, що я думаю про соціальні медіа та дітей, які проводять увесь свій час онлайн. Він запитує, чи вважаю я це прогресом чи проблемою, а потім каже:

“Для мене це нове, все нове цього роду — це прогрес, і ми повинні перейти через цей бар`єр та дістатись до наступного етапу… Я вірю в золотий вік майбутнього значно більше, ніж у золотий вік минулого. Технології такі, як AI, космос, відкривають безмежні можливості майбутнього.”

Я ціную його оптимізм і з усім серцем бажаю, щоб я його поділяв. Але між тим, щоб бути під контролем Microsoft, рабом Північної Кореї або стертою з лиця землі зловмисним AI, чиї обмеження були зняті, я просто не впевнений. Щонайменше, з таким великим ставкою, це розмова, яку ми повинні вести відкрито, а не за закритими дверима чи за закритим кодом. Як зазначив Хінтон:

“Це було б безглуздо, якщо б люди вимерли, бо нам не було б цікаво спробувати.”