Исследование безопасности в области искусственного интеллекта: новая компания Safe Superintelligence Inc.

Бывший главный ученый OpenAI запускает «безопасную» лабораторию искусственного интеллекта

Известный исследователь по искусственному интеллекту Илья Суцкевер, бывший главный ученый в OpenAI, запустил новую фирму по исследованию искусственного интеллекта, которая будет сосредоточена на области, которую он и другие критики считают слепым пятном его бывшего работодателя: безопасности.

Его новая компания, Safe Superintelligence Inc. (SSI), основана Даниэлем Гроссом, бывшим руководителем по искусственному интеллекту в Apple, и Даниэлем Леви, который ранее работал в OpenAI. Единственная цель компании — продвигать безопасность и возможности искусственного интеллекта параллельно.

«Мы будем преследовать безопасный сверхразум прямым путем, с одним акцентом, одной целью и одним продуктом», — написала в новой компании в среду. «Мы будем добиваться этого через революционные открытия, сделанные небольшой группой лучших специалистов».

Стремление Суцкевера покинуть OpenAI в прошлом году было связано с внутренними напряжениями, включая опасения, что безопасность отходит на второй план перед прибылью. С SSI он стремится избежать отвлечений от управленческих накладных расходов или циклов продуктов, с которыми часто сталкиваются крупные компании по искусственному интеллекту.

«Наша бизнес-модель означает, что безопасность, безопасность и прогресс полностью изолированы от краткосрочных коммерческих давлений», — гласит официальное заявление на веб-сайте SSI. «Таким образом, мы можем масштабироваться в мире».

SSI будет чисто научно-ориентированной организацией, в отличие от нынешней бизнес-модели OpenAI, которая включает коммерциализацию своих моделей искусственного интеллекта. Как следует из названия, первым и единственным продуктом SSI будет безопасный сверхразум.

«Под безопасностью мы подразумеваем безопасность, подобную ядерной безопасности, а не безопасность в смысле `доверия и безопасности`», — пояснил Суцкевер в интервью Bloomberg.

Миссия компании — расширить фокус Ильи на «сверхвыравнивание» с интересами человека, сосредоточившись исключительно на развитии, а не на «блестящих продуктах», которые, по его словам, отвлекали в OpenAI.

Суцкевер предполагает, что системы искусственного интеллекта SSI, когда они будут готовы, будут более универсальными и расширенными в своих способностях, чем текущие большие языковые модели. Конечная цель — создать «безопасный сверхразум», который не нанесет вред человечеству и будет действовать на основе ценностей, таких как свобода и демократия.

«В самом базовом смысле безопасный сверхразум должен обладать свойством не наносить вред человечеству в большом масштабе», — сказал он Bloomberg.

SSI будет иметь штаб-квартиру в США и Израиле и на данный момент набирает сотрудников.

«Мы предлагаем возможность сделать работу вашей жизни и помочь решить самую важную техническую проблему нашего времени», — написала новая компания в твиттере.

Это развитие произошло после того, как OpenAI решила распустить свою команду по супервыравниванию, ответственную за долгосрочную безопасность искусственного интеллекта, после ухода ключевых сотрудников.

Суткевер был частью совета OpenAI, который изначально уволил генерального директора Сэма Альтмана из-за опасений по безопасности, но вскоре затем Альтман был восстановлен с новым советом, которым он управлял. После этих событий была создана новая команда по безопасности под управлением Альтмана, и многие члены, отвечающие за разработку практик безопасности, были уволены, перемещены или вынуждены уйти.

Например, Леопольд Ашенбреннер, бывший исследователь по безопасности в OpenAI, недавно критиковал практики безопасности компании как «недопустимо недостаточные». В настоящее время он работает в инвестиционной фирме, сфокусированной на развитии AGI, которую он основал вместе с Патриком Коллисоном, Джоном Коллисоном, Нат Фридманом и Гроссом, который также основал SSI вместе с Суткевером.

Кроме Ашенбреннера, Ян Лайке, бывший руководитель команды OpenAI по выравниванию, также покинул компанию вместе с Суткевером и критиковал компанию за приоритетизацию прибыльности перед безопасностью. Незадолго после своей отставки он объявил, что присоединится к конкурирующей фирме Anthropic —которую также основали бывшие исследователи OpenAI, беспокоящиеся о недостаточном подходе компании к разработке безопасного искусственного интеллекта.

И Гретчен Крюгер, исследователь в области политики в OpenAI, покинула компанию, сославшись на те же проблемы, о которых говорили Лайке и Суткевер.

Бывшие члены совета также обвинили Сэма Альтмана в поддержке «токсичной культуры» в рабочей среде. Новые члены совета оспорили эти обвинения, и OpenAI с тех пор освободила сотрудников от соглашений о недопущении критики и убрала противоречивые пункты из документов об уходе после общественных протестов.

Редакция: Райан Озава.