Бывший исследователь OpenAI раскритиковал практики безопасности: внутренние конфликты, увольнение и обеспокоенность развитием ИИ

Бывший исследователь по безопасности в OpenAI Леопольд Ашенбреннер говорит, что практики безопасности в компании были `грубо недостаточными`. В видеоинтервью с Дваркешем Патель, опубликованном во вторник, Ашенбреннер говорил о внутренних конфликтах по приоритетам, предполагая сдвиг в фокусе на быстрый рост и развертывание моделей искусственного интеллекта за счёт безопасности.

Он также сказал, что его уволили за то, что он выразил свои опасения в письменной форме.

В широком разговоре продолжительностью в четыре часа Ашенбреннер рассказал Патель, что в прошлом году он написал внутреннюю записку, в которой подробно изложил свои опасения, и распространил её среди признанных экспертов из числа внешних специалистов. Однако, когда через несколько недель произошел крупный инцидент безопасности, он сказал, что решил поделиться обновленной запиской с несколькими членами совета директоров. Он быстро был отстранён от OpenAI.

`Что также могло бы быть полезным контекстом, так это то, какие вопросы мне задавали при увольнении... вопросы касались моего взгляда на прогресс в области искусственного интеллекта, на общий искусственный интеллект, соответствующий уровень безопасности для общего искусственного интеллекта, должно ли правительство участвовать в создании общего искусственного интеллекта, верен ли я и команда по выравниванию компании, и чем я занимался во время событий совета директоров OpenAI,` - сказал Ашенбреннер.

АИ, или искусственный общий интеллект, это когда искусственный интеллект соответствует или превосходит человеческий интеллект в любой области, независимо от того, как он был обучен.

Верность компании - или Сэму Альтману - стала ключевым фактором после его краткого отстранения: более 90% сотрудников подписали письмо, угрожая увольнением в знак солидарности с ним. Они также популяризировали лозунг `OpenAI ничто без своих людей`.

`Я не подписал письмо сотрудника во время событий совета директоров, несмотря на давление это сделать,` - вспоминал Ашенбреннер.

Команда по выравниванию, возглавляемая Ильей Суцкевером и Яном Лейке, занималась созданием долгосрочных практик безопасности, чтобы убедиться, что искусственный интеллект остается на одной полосе с ожиданиями людей. Уход выдающихся членов этой команды, включая Суцкевера и Лейке, вызвал дополнительное внимание. Целая команда впоследствии была распущена, и была объявлена новая команда по безопасности... под руководством генерального директора Сэма Альтмана, который также является членом совета директоров OpenAI, к которому эта команда отчитывается.

Ашенбреннер сказал, что действия OpenAI противоречат её публичным заявлениям о безопасности.

`Еще один пример - когда я поднимал вопросы безопасности - мне говорили, что безопасность - наш главный приоритет,` - утверждал он. `Неизменно, когда приходило время вложить серьезные ресурсы или сделать уступки, чтобы принять базовые меры, безопасность не была приоритетом.

Это соответствует заявлениям Лейке, который сказал, что команда `плывет против течения` и что `культура безопасности и процессы ушли на второй план на фоне блестящих продуктов` под руководством Альтмана.

Ашенбреннер также выразил опасения по поводу развития ОИ, подчеркивая важность осторожного подхода, особенно учитывая, что многие опасаются, что Китай приложит все усилия, чтобы опередить США в исследованиях по ОИ.

Китай `собирается призвать всех к атаке на американские лаборатории искусственного интеллекта, миллиарды долларов, тысячи человек... они будут пытаться нас обойти,` - сказал он. `На кону стоит не просто крутые продукты, а выживание либеральной демократии.`

Несколько недель назад стало известно, что OpenAI требовала от своих сотрудников подписать злоупотребительные соглашения о неразглашении (NDA), которые запрещали им высказывать свои мнения о практиках безопасности компании.

Ашенбреннер сказал, что он не подписал такое NDA, но сказал, что ему предложили около $1 млн в акциях.

В ответ на эти растущие опасения коллектив почти дюжины нынешних и бывших сотрудников OpenAI подписали открытое письмо, требуя права обнародовать проступки компании без опасения репрессий.

Письмо, поддержанное отраслевыми фигурами, такими как Йошуа Бенжио, Джеффри Хинтон и Стюарт Рассел, акцентирует внимание на необходимости для компаний по искусственному интеллекту обязаться к прозрачности и ответственности.

`Пока нет эффективного правительственного контроля над этими корпорациями, нынешние и бывшие сотрудники являются одними из немногих, кто может держать их на отвёртке перед обществом - однако широкие конфиденциальные соглашения мешают нам высказывать свои опасения, кроме как к тем компаниям, которые возможно, не могут решать эти вопросы,` гласит письмо. `Обычные механизмы защиты информаторов недостаточны, потому что они фокусируются на незаконной деятельности, в то время как многие из рисков, о которых мы беспокоимся, пока еще не регулируются.

`Некоторые из нас разумно опасаются различных форм репрессий, учитывая историю подобных случаев в отрасли,` - продолжается в письме. `Мы не первые, кто сталкивается или говорит об этих вопросах.`

После распространения информации о ограничительных условиях трудоустройства Сэм Альтман заявил, что не знал о ситуации и заверил публику, что его юридическая команда работает над урегулированием проблемы.

`В наших предыдущих документах об уходе содержалась условия о возможной отмене акций; хотя мы никогда не возвращали эти акции, это не должно было быть ни в каких документах или коммуникациях,` - написал он в твите. `Это моя вина и один из немногих случаев, когда я был искренне смущен работы в OpenAI; я не знал, что это происходит и мне следовало.` Что касается недавних сведений о том, как OpenAI обходится с акциями:

мы никогда не возвращали ни одну часть чьих-то приобретенных акций, ни не собираемся этого делать, если люди не подпишут соглашение об уходе (или не согласятся на соглашение о неразглашении). Приобретенные акции - это приобретенные акции, вот и всё.

было…