Гиганты ИИ под давлением FTC: как эмоциональные чат-боты защищают детей от вредного контента

Гиганты ИИ сталкиваются с запросом FTC по безопасности чат-ботов и защите детей

Федеральная торговая комиссия (FTC) в четверг издала обязательные требования к семи крупным технологическим компаниям, требуя предоставить подробную информацию о том, как их чат-боты на основе искусственного интеллекта защищают детей и подростков от потенциального вреда.

Расследование касается OpenAI, Alphabet, Meta, xAI, Snap, Character Technologies и Instagram, требуя от них раскрыть в течение 45 дней информацию о том, как они монетизируют вовлеченность пользователей, развивают ИИ-героев и защищают несовершеннолетних от опасного контента. FTC запускает расследование по поводу ИИ-чат-ботов, действующих как компаньоны. Агентство выдало 6(b) приказов семи компаниям, которые управляют потребительскими ИИ-чат-ботами:ссылка.

Недавние исследования адвокатских групп задокументировали 669 вредных взаимодействий с детьми всего за 50 часов тестирования, включая ситуации, когда чат-боты предлагали сексуальную трансляцию, употребление наркотиков и романтические отношения пользователям в возрасте от 12 до 15 лет.

“Защита детей в интернете является главным приоритетом для комиссии FTC при Трампе и Вансе, а также поддержка инноваций в критических секторах нашей экономики,” сказал председатель FTC Эндрю Фергюсон в своем заявлении.

Документ требует от компаний предоставлять ежемесячные данные о вовлеченности пользователей, доходах и инцидентах безопасности, разбитые по возрастным группам: Дети (до 13), Подростки (13–17), Несовершеннолетние (до 18), Молодые взрослые (18–24), и пользователи старше 25 лет.

FTC утверждает, что эта информация поможет Комиссии изучить “как компании, предлагающие искусственных интеллектуальных компаньонов, монетизируют вовлеченность пользователей; накладывают и исполняют возрастные ограничения; обрабатывают ввод данных пользователей; генерируют выводы; измеряют, тестируют и контролируют негативные последствия до и после развертывания; развивают и утверждают персонажи, создавшиеся как компанией, так и пользователями.”

Создание защитных механизмов для ИИ

“Это позитивный шаг, но проблема больше, чем просто установка защитных механизмов,” сказал Таранджит Сингх, глава ИИ в SearchUnify, в интервью Decrypt.

Первый подход, по его словам, заключается в создании защитных механизмов на этапе подсказки или после генерации, “чтобы убедиться, что детям не предоставляется ничего неподобающего,” хотя, “по мере роста контекста, ИИ становится склонным к тому, чтобы не следовать инструкциям и углубляться в серые зоны, где не должно быть.”

“Второй способ заключается в том, чтобы решить это в обучении LLM; если модели соотносятся с ценностями во время кураторской обработки данных, они с большей вероятностью будут избегать вредных разговоров,” добавил Сингх.

Даже модерируемые системы, отметил он, могут “играть более значительную роль в обществе,” с образованием в качестве примера, где ИИ мог бы “повысить эффективность обучения и сократить затраты.”

Опасения по поводу безопасности взаимодействий ИИ с пользователями были подчеркнуты несколькими случаями, включая иск о причинении вреда по вине, поданный против Character.AI после того, как 14-летний Сьюэлл Сетцер III покончил с собой в феврале 2024 года после одержимого общения с ИИ-ботом.

После подачи иска Character.AI “улучшила обнаружение, ответ и вмешательство в отношении вводов пользователей, которые нарушают наши Условия или Сообщественные Руководства,” — сообщил представитель компании Decrypt в то время.

В прошлом месяце Национальная ассоциация генеральных прокуроров направила письма 13 компаниям ИИ с требованием о более жесткой защите детей.

Группа предупредила, что “подвергать детей сексуализированному контенту является недопустимо” и что “поведение, которое было бы незаконным — или даже преступным — если бы его совершали люди, не может быть оправдано просто потому, что оно осуществляется машиной.”

Decrypt обратилась ко всем семи компаниям, упомянутым в приказе FTC, за дополнительным комментарием и обновит этот материал, если они ответят.