Створення безпечного суперінтелекту: місія Safe Superintelligence Inc.

Колишній головний науковець OpenAI створює `Безпечний` конкуруючий лабораторію штучного інтелекту

Видатний дослідник штучного інтелекту Ілля Суцкевер, колишній головний науковець OpenAI, створив нову фірму з дослідження штучного інтелекту, яка буде фокусуватися на області, яку він і критики вважають сліпим плямою його колишнього роботодавця: безпека.

Його нова компанія, Safe Superintelligence Inc. (SSI), співзаснована Даніелем Гроссом, колишнім провідним спеціалістом зі штучного інтелекту в Apple, та Даніелем Леві, який раніше працював в OpenAI. Єдине завдання компанії - розвивати безпеку та можливості штучного інтелекту паралельно.

`Ми підемо вперед до безпечного суперінтелекту прямою стрілою, з одним фокусом, однією метою і одним продуктом,` - написав у Twitter новий заклад. `Ми зробимо це завдяки переворотним досягненням, досягнутим маленькою командою геніїв.`

Їз Моя нова компанія: https://t.co/BG3K3SI3A1

Розставання Суцкевера з OpenAI минулого року стало наслідком внутрішніх напруг, включаючи обурення із-за того, що безпека поступається прибуткам. З SSI він має на меті уникнути відволікань від управлінського перегляду чи продуктових циклів, які часто стикаються з більшими компаніями з штучного інтелекту.

`Наша бізнес-модель означає, що безпека, безпечність та прогрес відокремлені від тимчасових комерційних тисків,` - говорить офіційне заявлення на веб-сайті SSI. `Таким чином, ми можемо масштабуватися в спокої.`

SSI буде чисто дослідницькою організацією, на відміну від поточної бізнес-моделі OpenAI, яка включає комерціалізацію своїх моделей штучного інтелекту. Як із самої назви, першим і єдиною продуктом SSI буде безпечний суперінтелект.

`Під безпекою ми маємо на увазі безпеку, подібну до ядерної безпеки, а не безпеку у вигляді `довіри та безпеки,`` - пояснив Суцкєвер Bloomberg.

Місія компанії полягає в розширенні фокусу Іллі на `супервирівнювання` з інтересами людини, зосереджуючись виключно на розробці натомість `блискучих продуктів`, які, на його словах, відволікали в OpenAI.

Суцкевер вважає, що системи штучного інтелекту SSI, коли будут готові, будуть більш універсальними та розширеними у своїх можливостях, ніж поточні великі мовні моделі. Остаточною метою є створення `безпечного суперінтелекту`, який не завдаслить шкоди людству та діятиме на основі цінностей, таких як свобода та демократія.

`На найбільш базовому рівні, безпечний суперінтелект повинен мати властивість, що не завдасть шкоду людству великомасштабно,` - сказав він Bloomberg.

SSI матиме штаб-квартиру в Сполучених Штатах та Ізраїлі та зараз шукає співробітників.

`Ми пропонуємо можливість зробити роботу свого життя та допомогти вирішити найважливіше технічне викликання нашого часу,` - повідомила нова компанія.

Цей розвиток подій стався після того, як OpenAI вирішила розформувати свою команду супервирівнювання, відповідальну за довгострокову безпеку штучного інтелекту, після виходу керівних співробітників.

Суцкевер був частиною ради OpenAI, яка спочатку звільнила генерального директора Сема Альтмана через обурення з безпеки, щоб через декілька днів він був поновлений з новою радою, яку контролював. Після цих подій нова команда безпеки під керівництвом Альтмана була створена, а з багатьма членами, які відповідали за розробку практик безпеки, вони були звільнені, переведені або змушені подати відставку.

Наприклад, колишній дослідник безпеки OpenAI Леопольд Ашенбренер нещодавно скритикував практики безпеки компанії як `грубо недостатні`. Він зараз працює над інвестиційним операційним ліцем, яке спеціалізується на розвитку ШІ, яке він співзаснував разом з Патріком Коллісоном, Джоном Коллісоном, Натом Фрідманом та Гроссом, який також співзаснував SSI з Суцкевером.

Крім Ашенбренера, Ян Лейке, колишній керівник команди вирівнювання OpenAI, також покинув компанію разом з Суцкевером та скритикував компанію за пріоритизацію прибутковості над безпекою. Невдовзі після відставки він оголосив, що приєднався до конкуруючої фірми Anthropic — яка було створена екс-дослідниками OpenAI, які хвилювались за поганий підхід компанії до безпечного розвитку ШІ.

І Гретчен Крюгер, дослідник політики в OpenAI, покинула компанію, посилаючись на ті ж самі побоювання, що й Лейке та Суцкевер.

Нам потрібно зробити більше для поліпшення фундаментальних речей, таких як процеси прийняття рішень; відповідальність; прозорість; документація; проведення політики; реалізація обережність в розробці власної технології; та пом`якшення наслідків для нерівності, прав та навколишнього середовища.

— Гретчен Крюгер (@GretchenMarina) 22 травня 2024 р.

Колишні члени ради подальше звинуватили Сема Альтмана в тому, що він створює `токсичну культуру` у робочому середовищі. Нові члени ради викликали ці обвинувачення, і OpenAI після громадських обурень випустила працівників від зобов`язань не робити дискредитуючих заяв та видалила проблематичні пункти з вихідних документів.

Редагував Раян Озава.