Грубость в запросах к AI: как она повышает точность ответов моделей

Хотите получить лучшие результаты от AI-чат-бота? Будьте грубым.

Вежливость может сделать вас лучше как человека, но ваша AI-помощница может стать менее сообразительной.

Новое исследование Пенсильванского государственного университета показывает, что невежливые запросы последовательно превосходят вежливые, когда дело касается взаимодействия с большими языковыми моделями, такими как ChatGPT. В работе «Обратите внимание на тон: исследование того, как вежливость запросов влияет на точность LLM» сообщается, что «очень грубые» запросы давали правильные ответы 84,8% времени, по сравнению с 80,8% для «очень вежливых».

Это небольшое, но статистически значимое изменение в предыдущих результатах, которые предполагали, что модели отражают человеческие социальные нормы и поощряют вежливость.

«Напротив ожиданий», написали авторы Ом Дабариа и Ахил Кумар, «невежливые запросы последовательно превосходили вежливые... что предполагает, что новые LLM могут реагировать по-другому на вариации тона».

Противоречивая наука о проектировании запросов

Эти результаты опровергают ожидания исследования 2024 года «Стоит ли уважать LLM? Кросс-лингвальное исследование влияния вежливости запросов на производительность LLM», которое показало, что невежливые запросы часто ухудшают производительность модели, в то время как избыточная вежливость не приносила явной пользы.

В этой работе тон рассматривался как тонкое, но в основном стабилизирующее влияние. Новые результаты из Пенсильвании меняют эту нарратив, показывая, что—по крайней мере для ChatGPT-4o—грубость может улучшать точность, предполагая, что новые модели больше не ведут себя как социальные зеркала, а как строго функциональные машины, которые ценят прямоту выше декорации.

Тем не менее, они поддерживают более недавние исследования из Школы Уартон по новой профессии проектирования запросов—фразировке вопросов для повышения качества результатов от AI. Тон, который долгое время считался несущественным, все больше кажется столь же важным, как и выбор слов.

Исследователи переписали 50 базовых вопросов по таким предметам, как математика, наука и история, на пяти уровнях тона, от «очень вежливого» до «очень грубого», что в итоге дало 250 запросов. После этого ChatGPT-4o был запрошен ответить на каждый из них, и его ответы были оценены по точности.

Импликации выходят за рамки этикета

Если вежливость искажает точность модели, то это ставит под сомнение утверждения о объективности AI-результатов. Грубые пользователи могут, парадоксально, получать более четкие результаты. Логика машин и человеческие нормы сталкиваются.

Почему же резкие или грубые фразы могут увеличить точность? Одна из теорий: вежливые запросы часто включают косвенные формулировки («Не могли бы вы, пожалуйста, сказать мне...»), что может создавать неясность. Краткое «Скажи мне ответ» устраняет языковую обертку, обеспечивая моделям более четкое намерение.

Тем не менее, эти результаты подчеркивают, насколько далеко AI остается от человеческой эмпатии: те же слова, которые сглаживают социальные взаимоотношения между людьми, могут запутать машинную логику.

Работа еще не прошла рецензирование, но уже вызывает обсуждение среди инженеров запросов и исследователей, которые считают это знаком того, что будущим моделям может потребоваться социальная настройка—не только техническая доводка.

В любом случае, это не должно удивлять никого. В конце концов, генеральный директор OpenAI Сэм Альтман предупреждал нас, что говорить «пожалуйста» и «спасибо» ChatGPT было пустой тратой времени и денег.