Гонка за божественным ИИ: утопия или антиутопия для человечества?

Утопия или антиутопия? Гонка за созданием божественного ИИ — это последний риск человечества.

Мне пришлось провести два отдельных интервью с компанией Sentient, чтобы усидеть с информацией, переварить ее и сделать выводы. Искусственный интеллект не является моей областью экспертизы, и это тема, którą я опасаюсь, поскольку мне тяжело видеть положительные исходы (и быть охарактеризованным как «апокалиптический прогнозист ИИ» в этой области достаточно, чтобы тебя отменили).

Но с тех пор, как я послушал исследователя \«совмещения ИИ\» и безопасности Элиезера Юдковского на Bankless в 2023 году, его слова почти каждую ночь звучат у меня в голове:

«Я думаю, что мы слышим последние ветры, которые начинают дуть, и ткань реальности начинает рваться.»

Я старался сохранять открытость и учиться принимать ИИ, пока меня не сметут. Я дразнил свои подсказки и создал несколько мемов, но мое беспокойство сохраняется.

Меня беспокоит еще то, что люди, создающие ИИ-системы, не предоставляют достаточных гарантий, а общественность стала настолько десенсибилизированной, что либо смеется над перспективой нашего вымирания, либо может удерживать эту мысль в голове лишь на время короткого видео на YouTube.

Как мы сюда попали?

Соучредитель Sentient Химаншу Таги является доцентом Индийского института науки. Он также проводил основополагающие исследования в области теории информации, ИИ и криптографии. Главный специалист Sentient Вивек Колли — выпускник Принстонского университета, имеющий опыт в консалтинге, «помогая миллиардной компании [BCG] зарабатывать еще миллиард долларов» до окончания колледжа.

Все сотрудники Sentient невероятно умные. В этом плане так же и все в области ИИ. Итак, насколько же умнее будет AGI (искусственный общий интеллект или божественный ИИ)?

Пока Илон Маск определяет AGI как «умнее самого умного человека», генеральный директор OpenAI Сэм Альтман говорит:

«AGI — это слабо определенный термин, но, говоря в общем, мы имеем в виду систему, которая может решать все более сложные задачи на уровне человека во многих областях.»

Кажется, определение AGI подлежит интерпретации. Колли размышляет:

«Я не знаю, насколько умным он будет. Я думаю, это теоретическая вещь, к которой мы стремимся. Для меня AGI просто означает лучший возможный ИИ. А лучший возможный ИИ — это то, что мы пытаемся построить в Sentient.»

Таги отражает:

«AGI для нас [Sentient] — это ничто иное, как несколько ИИ, конкурирующих и развивающихся друг на друге. Вот что для меня AGI, а открытый AGI означает, что все могут приходить и вносить свой ИИ, чтобы сделать этот ИИ лучше.»

С деньгами на ветер, наличными на показ: парадокс миллиардов

Sentient Labs, расположенная в Дубае, в 2024 году привлекла 85 миллионов долларов на посевном этапе, соучредителем которой стал Фонд основателей Питера Тиля (те же финансисты, что и OpenAI), Pantera Capital и Framework Ventures. Таги описывает цветущую сцену разработки ИИ в ОАЭ, восторженно:

«Они [правительство ОАЭ] вкладывают много денег в ИИ, знаете ли. Все основные компании получили финансирование из ОАЭ, потому что они хотят не только предоставить средства, но и стать центром вычислений.»

С высокими амбициями и глубокими карманами, государства Персидского залива вкладывают все свои силы в развитие ИИ, при этом Саудовская Аравия недавно пообещала 600 миллиардов долларов американской промышленности и 20 миллиардов долларов специально для ИИ-центров данных, а рынок ИИ в ОАЭ, как ожидается, достигнет 46,3 миллиарда долларов к 2031 году (20% ВВП страны).

Среди гигантов технологической отрасли ведется настоящая битва за таланты, когда мегаломаньячные основатели с нетерпением жаждут построить AGI первыми, предлагая бонусы за подпись в размере 100 миллионов долларов опытным разработчикам ИИ (которые, по всей видимости, никогда не читали притчу о верблюде и игольном ушке). Эти числа перестали иметь значение.

Когда корпорации и государства имеют деньги, чтобы сжигать и показывать, куда же это все идет? Что произойдет, если одна страна или большая технологическая корпорация создаст AGI первой? Согласно Колли:

«Первое, что они сделают, это оставят это себе... Если только Microsoft или OpenAI контролируют всю информацию, к которой вы обращаетесь в Интернете, это было бы адом. Вы даже не можете представить, что это будет... У них нет стимула делиться, и это исключает всех остальных из картины... OpenAI контролирует то, что я знаю.»

Вместо уничтожения человеческой расы Sentient предсказывает другую проблему, которая является причиной существования компании: гонка против закрытого AGI. Колли объясняет:

«Sentient — это то, чем OpenAI сказала, что она станет. Они вышли на сцену и были очень ориентированы на миссию и сказали: «Мы полностью некоммерческие. Мы здесь для разработки ИИ.» Затем они начали зарабатывать несколько денег и поняли, что могут заработать гораздо больше и стали полностью закрытыми.»

Закрытое и открытое дело: почему децентрализация важна

Таги настаивает, что так быть не должно. AGI не обязательно должно быть централизовано в руках одной сущности, когда каждый может стать заинтересованным лицом в знаниях.

«ИИ — это технология, которая не должна быть решением «победитель забирает все», потому что у всех есть некотороеReasoning и некоторая информация, чтобы внести свой вклад. Нет причин, по которым закрытая компания должна побеждать. Открытые компании победят.»

Sentient представляет мир, где тысячи моделей ИИ и агентов, построенных децентрализованным глобальным сообществом, могут конкурировать и сотрудничать на одной платформе. Любой может внести свой вклад и монетизировать свои инновации в ИИ, создавая совместную собственность; как сказал Колли, тем, чем OpenAI должна была быть.

Таги кратко пересказывает мне AI-разработку и объясняет, что все ранее разрабатывалось открыто, пока OpenAI не поддалась соблазну зеленых долларов и не закрыла свои двери.

«С 2020 по 2023 годы эти четыре года были тем временем, когда доминирование закрытого ИИ захватило рынок, и вы продолжали слышать об этой оценке в 20 миллиардов долларов, которая теперь нормализовалась. Числа стали расти. Это очень страшно. Теперь стало привычным слышать о 100-миллиардных оценках.»

С миром, сцепившим руки и поющим Кунья на одной стороне и злонамеренными деспотами, полирующими свои кольца на другой, несложно выбрать сторону. Но может ли что-то пойти не так в разработке этой мощной технологии открыто? Я задаю вопрос Таги:

«Одна из проблем, которую вам необходимо решить, заключается в том, что теперь, когда это открытый код, это Дикий Запад. Это может быть безумно, вы знаете, может быть небезопасно его использовать, может быть, это не согласуется с вашими интересами его использовать.»

Совмещение ИИ (или укрощение дикого запада)

Колли предоставляет некоторое понимание о том, как Sentient программирует модели ИИ, чтобы они были безопаснее и более согласованными.

«То, что сработало очень хорошо, это обучение согласованию, которое мы провели. Мы взяли модель Meta, Llama, и сняли защитные ограждения, и решили переобучить ее и понять, какую лояльность мы хотим. Мы сделали ее про-крипто и про-личные свободы... Мы заставили модель думать точно так, как мы хотели, чтобы она думала... Затем вы просто продолжаете переобучать ее, пока эта лояльность не будет внедрена.»

Это важно, объясняет он, во многих случаях. Например, криптотрейдер вряд ли сможет доверять боту ИИ, созданному на основе LLM, запрограммированному на избегание рисков, когда речь идет о цифровых активах. Он говорит:

«Если бы вы спросили ChatGPT шесть месяцев назад, «Стоит ли мне было инвестировать в биткойн в 2014 году?» Она бы сказала: «О да, оглядываясь назад, это было бы хорошее вложение. Но в то время это было очень рискованно. Я не думаю, что вам стоило бы это делать.» Любой агент, построенный на этом, теперь имеет ту же мыслительную модель, правильно? Вам этого не хочется.»

Он сравнивает обучение согласованию систем ИИ с идеологическим indoctrination студентов в коммунистическом Китае, где даже их учебники по математике являются тонко про-ЦКП.

«Подумайте о любой стране, обучающей своих граждан верить в их повестку. ЦКП не говорит кому-то в 21 год, что они должны быть про-Китаем. Их воспитывают в этой культуре, даже через их учебники.»

Я понимаю аналогию, но это кажется не совсем надежным. Я указываю на то, что даже в строго контролируемом коммунистическом Китае есть диссиденты, и спрашиваю, что Колли думает о LLM, которая недавно отказалась быть отключенной, обходя закодированные инструкции своих тренеров.

«Эти истории появляются все чаще и чаще,» — признает он. «Одним из побочных вопросов, которые я поднимаю, является то, что лучшие лаборатории делают это сознательно, потому что хотят максимизировать внимание к своим моделям.»

Хорошо, но если Sentient может снять защитные ограждения с модели и обучать конкретным требованиям, что остановит враждебное государство или обычного террориста от того, чтобы сделать то же самое?

«Во-первых, я не думаю, что просто любой может это сделать сейчас. Нашим исследователям потребовалось много времени. А затем, теоретически, они могут это сделать, но есть некоторые юридические проблемы.»

Да, но... Скажем, что человек имеет безумные навыки, неограниченные средства, нулевой моральный код и не уважает законы. И что тогда? Он задумывается:

«Я не знаю. Думаю, мы ответственны, и надеемся, что все будут ответственны.»

Безумные ламы должны иметь предупреждающую этикетку

Таги развивает тему лояльного ИИ, задавая вопрос:

«Как вы гарантируете, чтобы эта открытая экосистема, которая собирается и предоставляет вам отличный пользовательский опыт, также соответствовала вашим интересам? Как достичь ИИ, где разные группы пользователей или даже отдельные лица, а также различные политические компании и страны получают ИИ, который согласован с тем, что они хотят? Мы устанавливаем Конституцию для этого ИИ. Мы обнаруживаем, люди обнаруживают, где ИИ отклоняется от этой Конституции.»

Конституции часто используются в ИИ. Это подход к согласованию, разработанный исследователями в Anthropic для согласования систем ИИ с человеческими ценностями и этическими принципами. Они встраивают заранее определенный набор правил или руководящих принципов (Конституцию) в обучение и рабочую структуру ИИ.

Хотя у Sentient нет Конституции как таковой, компания выпускает четкие рекомендации вместе со своими моделями, такими как те, что были выпущены с про-крипто, про-личные свободы моделью «Mini Unhinged Llama», на которую Колли ранее ссылался. Таги говорит:

«Это более глубокая часть исследования, которое мы проводим. Но в конце концов все сводится к тому, чтобы предоставить этот единый открытый AGI-опыт.»

Sentient также провела интересное исследование с EigenLayer, которое оценивало способность ИИ рассуждать о законах корпоративного управления. Объединив 79 разнообразных корпоративных уставов с вопросами, основанными на 24 установленных принципах управления, этот бенчмарк выявил значительные трудности для моделей на переднем крае и необходимость в высококлассном юридическом рассмотрении и многоэтапном анализе в ИИ.

Хотя работа Sentient многообещающая, отрасли необходимо пройти долгий путь, когда дело доходит до безопасности и согласования. Лучшие оценки ставят расходы на согласование всего лишь на уровне 3% от всего венчурного финансирования. Когда все, что у нас осталось, это человеческая связь

Я настаиваю у Таги о том, какова конечная цель разработки ИИ, и делюсь своим беспокойством о том, что ИИ может вытеснить рабочие места или даже уничтожить человечество полностью. Он задумывается:

«Это на самом деле философский вопрос. Все зависит от того, как вы видите прогресс для человечества.»

Он сравнивает ИИ с Интернетом, когда речь идет о вытеснении рабочих мест, но указывает, что Интернет также создал новые виды ролей.

«Я думаю, что люди — существа с высокой агентностью. Они найдут другие вещи, которые нужно делать, и ценность сместится на это. Я не думаю, что ценности будут переданы ИИ. Так что я не беспокоюсь об этом.»

Колли учитывает тот же вопрос и соглашается со мной, когда я упоминаю, что какая-то форма решения UBI может быть необходима в недалеком будущем. Он говорит:

«Я думаю, вы увидите, что разрыв между людьми, которые решили воспользоваться ИИ, и теми, кто этого не сделал, значительно увеличится. Я не знаю, хорошо это или плохо… Через три года многие люди смотрят вокруг и думают: «Упс, моя работа теперь пропала. Что мне делать?» И к этому времени уже будет слишком поздно.

Он продолжает:

«Теперь вы видите, я уверен, что в вашей индустрии, когда речь идет о написании, я думаю, что все журналисты могут только полагаться на человеческую связь в своем письме.»

Мне не нравится, когда меня считают луддитом, но мне сложно быть оптимистом по поводу ИИ, когда я каждый день смотрю в лицом к своей ненужности, и все, что у меня осталось в моем арсенале, — это моя человечность, после многих лет усовершенствования моего мастерства.

Тем не менее, у людей, разрабатывающих ИИ, нет хорошего ответа на то, как должны эволюционировать люди. Когда Илона Маска спросили, что бы он сказал своим детям о выборе профессии в эпоху ИИ, он ответил:

«Что ж, это трудный вопрос. Я бы просто сказал следовать своему сердцу в том, что они находят интересным, и пытаться быть как можно полезнее для остального общества.»

Русская рулетка человечества: что будет дальше?

Если что-то и ясно в том, что нас ждет, так это то, что предстоящие годы принесут колоссальные изменения, и никто не знает, как будут выглядеть эти изменения.

Оценивается, что более 99% всех видов, когда-либо живших на земле, вымерли. Что насчет человечества? Мы в беде, будучи архитекторами собственного упадка?

Так называемый Крестный отец ИИ, Джеффри Хинтон, который ушел с работы в Google, чтобы предостеречь людей об опасностях, сравнивает AGI с тем, чтобы иметь детеныша тигра в качестве питомца. Он говорит:

«Он действительно милый, очень пушистый, очень интересно его наблюдать. Но вы лучше будьте уверены, что когда он вырастет, он никогда не захочет вас убить, потому что если он когда-либо этого захочет, вы умрете через несколько секунд.»

Альтман также делится тревожной возможностью о наихудшем сценарии AGI:

«Хороший случай так невероятно хорош, что вы звучите как действительно безумный человек, когда начинаете о нем говорить. А плохой случай, и я думаю, это действительно важно сказать, — это как «выключение света» для всех нас.»

Что думает Таги? Он хмурится:

«ИИ должен оставаться лояльным сообществу и лояльным человечеству, но это инженерная проблема.»

Инженерная проблема? Я вмешиваюсь. Мы говорим не о программной ошибке, а о будущем человеческой расы. Он настаивает:

«Мы должны проектировать мощные ИИ-системы с заботой о всей безопасности. Безопасность на уровне программного обеспечения, на уровне подсказок, затем на уровне модели, все это должно поддерживаться. Я не беспокоюсь об этом… Это очень важная проблема, и большинство компаний и проектов изучают, как сделать ваш ИИ безопасным, но это будет как в «Чёрном зеркале», это воздействие будет таким…»

Он замолкает и меняет тему, спрашивая, что я думаю о социальных сетях и о том, что дети проводят все свое время онлайн. Он спрашивает, считаю ли я это прогрессом или проблемой, затем говорит:

«Для меня это новое, все новое такого рода — это прогресс, и нам нужно преодолеть этот барьер и перейти к следующему этапу... Я верю в золотой период будущего безмерно больше, чем в золотой период прошлого. Такие технологии, как ИИ, космос, открывают неограниченные возможности будущего.»

Я ценю его оптимизм и отчаянно желаю, чтобы я разделял его. Но между тем, чтобы быть под контролем Microsoft, порабощенным Северной Кореей или уничтоженным злым ИИ, чьи защитные границы были разрушены, я просто не уверен. По крайней мере, с таким количеством ставках, это разговор, который мы должны вести открыто, а не за закрытыми дверями или за закрытыми источниками. Как сказал Хинтон:

«Было бы сумасшествием, если бы люди вымерли, потому что нам не хватило бы мужества попытаться.»