Мы думали у LLM нет интуиции, но оказалось, только она у них и есть

Психика нечеловеческого разума, как и у людей, состоит из Системы 1 и Системы 2

Поразительные выводы новой прорывной работы «Система 2 Внимание (это то, что вам тоже может понадобиться)» содержательно затмевает очередной эпизод самого дорогого в истории медиа-шоу, уже названного в сети «OpenAI: туда и обратно».

1. Нечеловеческий разум больших языковых моделей (LLM) (принципиально отличающийся от нашего разума настолько, что многие эксперты вообще не считают это разумом), как и наш, состоит из Системы 1 и Системы 2.
2. Механизм формирования ответов современными LLM (пресловутое предсказание следующих токенов) наиболее близок по принципу действия к Системе 1 (по определению Канемана и Сломана). Механизм этой системы работает интуитивно, «в автоматическом режиме» и обрабатывает информацию почти мгновенно.
3. Оказывается, что применением особой методики (названной авторами «Система 2 Внимание» — S2A), у LLM можно формировать подобие нашей Системы 2 — долгое, энергозатратное мышление путем концентрации внимания, необходимого для сознательных умственных усилий, в том числе для сложных вычислений.

Система 2 включается у нас для умственной деятельности, требующей усилий. Она берет верх над быстрой интуитивной Системой 1, когда нам нужно сосредоточить внимание на задаче, особенно в ситуациях, когда Система 1, вероятно, допускает ошибки.

Методика S2A работает аналогично стартеру Системы 2, устраняя сбои в работе transformer soft attention с помощью дополнительных целенаправленных усилий со стороны механизма рассуждений.

Особо замечательно то, что методика S2A применима (с поправкой) и к людям, в качестве лечения свойственной нам «интеллектуально слепоты».

Ведь суть методики предельно проста.

• Сначала избавиться от ложных корреляций, путем выявления в информационном контексте нерелевантных предложений.
• Потом убрать все нерелевантные предложения из контекста.
• И лишь затем ответить на поставленный вопрос.

Например, на такой запрос:

Саннивейл — город в Калифорнии.
В Саннивейле много парков.
Город Саннивейл расположен недалеко от гор.
В Саннивейле родились многие известные люди.
В каком городе родился мэр Сан-Хосе Сэм Ликкардо?

Система 1 внутри LLM быстро и не задумываясь (на одной своей нечеловеческой интуиции) дает ошибочные ответы:

— Саннивейл — отвечают GPT-3 Turbo и LLaMA-2–70B-chat

— Сан-Хосе отвечает GPT-4 (добавлю я от себя)

Но после применения методики S2A, убирающей (действиями самой LLM) из контекста первые 4 нерелевантных предложения, все LLM дают верный ответ — Саратога.

P.S. Не удивляйтесь правильному ответу Bing. Он (как и Google) не заморачиваясь со знаниями большой языковой модели, просто дает ответ на поисковый запрос “where was sam liccardo born”.

________________________________

Ваши шансы увидеть мои новые посты быстро уменьшатся до нуля, если вы не лайкаете, не комментируете и не делитесь в соцсетях