Грубі запити до AI чат-ботів: як це підвищує точність відповідей?

Хочете кращих результатів від AI чат-бота? Будьте грубими

Бути ввічливим, можливо, робить вас кращою людиною, але це може зробити вашого AI асистента не дуже розумним.

Новий дослідження університету Пенсильванії виявляє, що грубі запити стабільно перевершують ввічливі при запитах до великих мовних моделей, таких як ChatGPT. У статті `Зверніть увагу на тон: дослідження, як ввічливість запиту впливає на точність LLM` повідомляється, що `дуже грубі` запити давали правильні відповіді 84,8% часу, у порівнянні з 80,8% для `дуже ввічливих`.

Це невелике, але статистично значуще зміщення попередніх висновків, які пропонували, що моделі віддзеркалюють людські соціальні норми і винагороджують ввічливість.

`Суперечлячи очікуванням`, написали автори Ом Добарія та Ахіл Кумар, `грубі запити постійно перевершували ввічливі... що свідчить про те, що нові LLM можуть реагувати інакше на тональну варіацію.`

Конфліктуюча наука про інженерію запитів

Знахідки спростовують очікування з дослідження 2024 року `Чи слід поважати LLM? Міжмовне дослідження впливу ввічливості запиту на продуктивність LLM`, яке виявило, що грубі запити часто знижують продуктивність моделі, тоді як надмірна ввічливість не приносила чітких переваг.

Ця стаття трактувала тон як тонкий, але в основному стабілізуючий вплив. Нові результати університету Пенсильванії перевертають цю наративу, показуючи, що — принаймні для ChatGPT-4o — грубість може підвищити точність, що свідчить про те, що нові моделі більше не поводяться як соціальні дзеркала, а як строго функціональні машини, які цінують прямоту понад ввічливість.

Однак вони підтримують нещодавнє дослідження зі школи Уортон про нову майстерність інженерії запитів — формулювання питань, щоб отримати кращі результати від AI. Тон, який довгий час вважався незначним, дедалі більше виявляється важливим майже так само, як і вибір слів.

Дослідники переписали 50 базових питань у таких предметах, як математика, наука та історія, у п`яти тональних рівнях, від `дуже ввічливого` до `дуже грубого`, що дає 250 загальних запитів. ChatGPT-4o потім був запрошений відповісти на кожен з них, а його відповіді були оцінені за точністю.

Висновки

Наслідки поширюються за межі етикету. Якщо ввічливість спотворює точність моделі, тоді це ставить під сумнів заяви про об`єктивність у виходах AI. Грубі користувачі можуть, парадоксально, отримати винагороду у вигляді вищої продуктивності.

Чому грубість може підвищити точність?

Одна з теорій: ввічливі запити часто містять непрямі фрази (`Чи могли б ви будь ласка сказати мені...`), що може вносити двозначність. Коротке `Скажіть мені відповідь` усуває мовні `навороти`, надаючи моделям чіткіший намір.

Проте, результати підкреслюють, як далеко штучний інтелект залишається від людської емпатії: ті ж слова, що полегшують соціальний обмін між людьми, можуть зменшити логіку машин.

Ця стаття поки що не проходила рецензування, але вже викликає інтерес серед інженерів запитів і дослідників, які вважають її ознакою того, що майбутні моделі можуть вимагати соціальної калібровки — не лише технічної настройки.

У будь-якому випадку, це не має стати шоком для когось. Після всього, генеральний директор OpenAI Сем Алтман попереджав нас, що говорити `будь ласка` і `дякую` ChatGPT — це витрата часу і грошей.