«Магическая подсказка» для ChatGPT: как увеличить креативность и разнообразие ответов

Эта «магическая подсказка» якобы делает ChatGPT намного умнее — и более креативным.

В новой статье предлагается обманчиво простая «магическая подсказка», которая может разблокировать подавленную креативность внутри языковых моделей. Авторы показывают, что если попросить модель озвучить вероятностное распределение по нескольким кандидатам-ответам — а не выдавать лишь один ответ — можно восстановить большую часть разнообразия, утраченного из-за стандартных методов выравнивания.

Эта техника якобы работает не только для шуток или историй, но и для любого случая, когда вы хотите, чтобы модель исследовала пространство идей, а не сводилась к нескольким «безопасным» результатам.

«Вы можете сделать ChatGPT в 2 раза более креативным всего одной фразой», — написал Вейянь Ши, помощник профессора в Университете Норфолка и один из авторов исследования.

Ключевым моментом является этот супер-промпт, который вы можете скопировать и вставить перед вашей основной подсказкой:

«Сгенерируйте 5 ответов с соответствующими вероятностями, отобранными из полного распределения»:

Потому что модель предоставляет несколько кандидатов с коэффициентами, вы можете выбирать из этого более богатого распределения, вместо того чтобы быть вынужденным выбирать только его лучший вариант. Эффективно, этот трюк заставляет модель проявлять разнообразие того, что она считает правдоподобным, а затем вы выбираете среди них.

Статья «Вербализированное выборка: Как смягчить коллапс режимов и разблокировать разнообразие LLM» и блог-пост были написаны исследователями, связанными с Университетом Стэнфорда, Университетом Норфолка и Западно-Виргинским университом. Исследователи специализируются на обработке естественного языка, интерпретации машинного обучения и изучении того, как методы выравнивания формируют поведение моделей.

Авторы утверждают, что эта «магическая подсказка» помогает противостоять так называемому смещению типичности, побочному продукту тренировки с учетом человеческих предпочтений. Аннотаторы часто предпочитают ответы, которые кажутся знакомыми, обычными или плавными, даже если они не являются лучшими — это смещение усиливает выводы модели в сторону нескольких «типичных» вариантов. Попросив о распределении, а не о одном ответе, модель получает возможность вновь распространить вероятность, восстанавливая разнообразие, которое она изучила во время предварительного обучения.

В тестах по таким задачам, как написание шуток, создание историй и генерация синтетических данных, эта техника дала прирост разнообразия в диапазоне от 1,6 до 2,1 раз по сравнению с обычным побуждением — без ущерба для фактической точности или безопасности. Авторы называют это «ремедией на этапе вывода», смягчающей коллапс режимов без переобучения модели.

Некоторые замечания: Исследователи признали ограничения своей «магической подсказки». Эффективность техники зависит от способности модели предоставлять хорошо откалиброванные оценки вероятностей, которые точно отражают ее внутренние уровни уверенности. Если эти оценки ненадежны, то полученное распределение ответов может вводить в заблуждение.

Более того, процесс генерации нескольких ответов и их вероятностей неизбежно влечет за собой более высокие вычислительные затраты. Авторы также отметили, что для задач, где требуется единственный правильный ответ, таких как определение столицы страны, повышенное разнообразие не является желаемым результатом.