Трагічна історія безпеки в OpenAI

Колишній дослідник з безпеки OpenAI каже, що `безпека не була віддана перевагу`

Колишній дослідник з безпеки OpenAI Леопольд Ашенбренер каже, що практики безпеки в компанії були `неадекватно недостатніми.` У відеоінтерв`ю з Дваркешем Патель, опублікованому у вівторок, Ашенбреннер говорив про внутрішні конфлікти щодо пріоритетів, вказуючи на зміну фокусу на швидкий ріст і впровадження моделей штучного інтелекту за рахунок безпеки.

Він також сказав, що його звільнили за те, що він висловив свої побоювання письмово.

У широкому розмові тривалістю чотири години, Ашенбренер сказав Патель, що минулого року він склав внутрішню нотатку, де детально описав свої побоювання й розіслав її серед авторитетних експертів зовнішніх компаній. Однак після виникнення серйозного випадку з безпекою через кілька тижнів він сказав, що вирішив поділитися оновленою нотаткою з парою членів ради. Його швидко звільнили з OpenAI.

`Що також може бути корисним контекстом це види питань, які вони мені задавали, коли вони мене звільнили... питання стосувалися моїх поглядів на прогрес штучного інтелекту, на загальний штучний інтелект, відповідний рівень безпеки для загального штучного інтелекту, чи повинна уряд брати участь в загальному штучному інтелекті, чи я і команда супервирівнювання були вірні компанії, та що я робив під час подій ради OpenAI,` сказав Ашенбренер.

Зосереджена на вирішенні великих питань, команда супервирівнювання—під керівництвом Ілі Сутскевера та Яна Лейке—відповідала за побудову довгострокових практик безпеки, щоб переконатися, що штучний інтелект залишається узгодженим з очікуваннями людини. Відхід відомих членів цієї команди, включаючи Сутскевера та Лейке, призвів до додаткового аналізу. Вся команда була подальш розпущена, і було оголошено нову команду безпеки... під керівництвом виконавчого директора Сема Альтмана, який також є членом ради OpenAI, до якої вона звітує.

Ашенбренер сказав, що дії OpenAI суперечать його публічним заявам про безпеку.

Він також висловив побоювання стосовно розвитку загального штучного інтелекту, підкреслюючи важливість обережного підходу—особливо оскільки багато хто боїться, що Китай докладає зусиль, щоб перевершити Сполучені Штати в дослідженні загального штучного інтелекту.

Китай `зробить все можливе, щоб вдало проникнути в лабораторії AI у США, мільярди доларів, тисячі людей... [вони] спробують в побудові нас,” сказав він. `На кону буде не лише круті продукти, але й те, чи виживе ліберальна демократія.`

Лише кілька тижнів тому стало відомо, що OpenAI вимагала, щоб її співробітники підписували образливі угоди про нерозголошення (NDAs), які перешкоджали їм висловлювати свої побоювання про практики безпеки компанії.

Ашенбренер сказав, що він не підписував таку NDA, але сказав, що йому запропонували близько 1 млн доларів у акціях.

У відповідь на зростаючі побоювання, колектив майже десяти поточних і колишніх співробітників OpenAI підписали відкритий лист, вимагаючи права вказувати на порушення компанії без страху реталіації.

Лист—підтриманий фігурами промисловості, такими як Йошуа Бенджіо, Геоффрі Гінтон і Стюарт Рассел—наголошує на необхідності того, щоб компанії зі штучним інтелектом зобов`язалися до прозорості та відповідальності.