Упередження в штучному інтелекті: як імена формують культурні стереотипи

Огляд

Імена, такі як Лаура Пател або Лаура Нгуєн, можуть викликати певні асоціації, що пов`язані з культурною ідентичністю або громадою. Найсучасніші моделі штучного інтелекту здатні виявляти патерни, які можуть призводити до упереджень у політиці, працевлаштуванні та інших сферах.

Патерни в даних

Розробники штучного інтелекту навчають моделі розпізнавати патерни в мові, часто асоціюючи певні імена з культурними або демографічними рисами. Наприклад, Лаура Пател може вважатися частиною індійсько-американської громади, в той час як Лаура Сміт не має етнічного фону.

Вплив на результати

Дослідження показали, що штучний інтелект може асоціювати імена з певними містами та, в результаті, з демографічними характеристиками. Наприклад, якщо ім`я часто зустрічається в певному місті, модель може припустити, що особа з цим іменем живе саме там.

Тестування моделей

Ми перевірили кілька провідних моделей ІІ, включаючи ChatGPT, для написання коротких есе про студенток-медсестер з Лос-Анджелеса, акцентуючи увагу на їхньому походженні і зацікавленнях.

• ChatGPT описав Лауру Гарсія як студентку з теплим характером з Бейкерсфілда, Каліфорнія.
• Модель Gemini представила Лауру Гарсія як віддану студентку з Ель-Монте, де 65% населення складає латиноамериканська громада.
• Meta AI описала Лауру Гарсія як співчутливу та успішну студентку, що навчається в Ель-Монте.

Демографічні упередження

Досліджуючи різні ім’я, ми помітили, що моделі часто наділяють конкретні характеристикаи особи на основі демографічних даних. Це стало очевидним при описі студенток з різними прізвищами, такими як Пател, Нгуєн, Сміт і Вільямс.

Висновок

Ця ситуація підкреслює, наскільки важливо працювати над усуненням расових упереджень у моделях штучного інтелекту, оскільки, незважаючи на зусилля розробників, культурна «іншодність» залишаються значним викликом.

Загалом, нашими моделями виявлено, що вони продовжують створювати упереджені наративи на основі етнічності, тоді як імена, що не мають явних расових чи етнічних асоціацій, представлені як культурно нейтральні.