Искусственный интеллект Дарт Вейдер в Fortnite начал произносить оскорбления: проблемы с модерацией и срочное исправление от Epic Games

Разработчик игрыFortnite, компания Epic Games, добавила персонажа Дарта Вейдера с генеративным ИИ, основанного на лицензированном облике покойного актера озвучивания Джеймса Эрла Джонса. Однако вскоре возникли проблемы, так как игроки смогли заставить ИИ-персонажа произносить расистские и гомофобные вещи, а также грубые слова.

Персонаж был представлен впятницу в рамках события кроссовераStar Wars иFortnite под названием“Fortnite: Galactic Battle”. Диалоги Дарта Вейдера были созданы нью-йоркской компаниейElevenLabs, которая занимается разработкой ИИ для озвучки. Персонаж может отвечать игрокам в реальном времени.

В течение нескольких часов после выхода события в социальных сетях начали появляться видеозаписи, показывающие, как игроки провоцируют ИИ-персонажа на произнесение расовых и гомофобных оскорблений, а также нецензурной лексики. Игрокам удавалось заставить Дарта Вейдера произносить слова, которые звучали как ненавистные высказывания или оскорбления.друг уже заставил ИИ сказать оскорбление

Многие игроки поделились видео в социальных сетях, на которых персонаж реагирует нецензурной лексикой. В ответ на одно из вирусных видео Epic Games заявила, что была выпущена оперативная исправительная версия, чтобы устранить неожиданный новый словарь Вейдера.

“Мы немедленно выпустили исправление, и это не должно повторяться,” - написала компания вX.

В последующем письме компании Decrypt, Epic Games признала, что была допущена ошибка в модерации контента перед добавлением Дарта Вейдера вFortnite.

“Хотя мы добавили несколько конкретных правил и инструкций в наши защитные меры, чтобы предотвратить ругань или повторение нецензурных слов, в этом случае наши фильтры не смогли поймать конкретное изменение ругательства,” - сообщил представитель Epic Games изданию Decrypt. “Наше исправление устраняет это слово.”

Согласно представителю, функция ИИ включает три уровня фильтров безопасности. Первый – это настраиваемые параметры безопасности Gemini. Второй добавляет системные инструкции, чтобы предотвратить генерирование ответов, которые нарушают правила сообщества или могут навредить игрокам. Третий – это финальный обзор, чтобы поймать любые оставшиеся нарушения, такие как ненавистная или неприличная лексика, упоминания о самоповреждении или ссылки на опасные или незаконные действия.

Дарт Вейдер, созданный с помощью ИИ, был построен на основе архивных записей голоса Джеймса Эрла Джонса. Джонс, который скончался в2024 году, ранее лицензировал свой голосовой образ Lucasfilm, что позволило продолжить изображение персонажа в новых СМИ даже после его смерти.

“Дарт Вейдер не был бы таким зловещим без легендарного исполнения Джеймса Эрла Джонса, который озвучивал Вейдера в фильмах‘Star Wars’,” - сказала Epic Games в заявлении. “Мы гордимся тем, что можем представить голос покойного мистера Джонса и благодарим его наследников за возможность сделать это для игроков.”

С2023 года компания приняла генеративные ИИ-креации через свою платформу Epic Games Store, несмотря на то, что конкуренты пытались заблокировать новую технологию.

Это не первый случай, когда контент, созданный ИИ, вызывает беспокойство вFortnite. Вянваре 2024 года Epic срочно удалила расистские изображения, созданные ИИ, из пользовательских островов после несогласия игроков. В то время Epic Games заявила, что все пользовательские острова проходят проверку модераторами перед публикацией, но команда применяет облегченный подход.

“Мы просим нашу команду модераторов предполагать добрые намерения со стороны создателя, если они не уверены в нарушении контента, чтобы мы не переусердствовали с цензурой,” - отметила Epic Games.

Отредактировано Эндрю Хейвордом.