Я знаю, что ты думаешь, что она знает, что он боится того, что я поверю, будто ты понимаешь

LLM превосходит людей нечеловеческой формой понимания ментальных состояний других

Экспериментальные результаты совместного исследования Google Research и Google DeepMind с психологами университетов Оксфорда и Джона Хопкинса показали, что мы сильно недооцениваем когнитивные способности LLM в препарировании, анализе и понимании ментальных и эмоциональных состояниях людей (то, что в науке называется «Теория разума» — по англ. ТоМ).

• Оказалось, что предыдущие тесты, на которых LLM немного не дотягивали до способностей взрослых людей, были просто слишком примитивные для LLM (как если бы инопланетяне тестировали наших докторов филологии на задачках уровня «А и Б сидели на трубе …»)
• Когда же тестирование усложнили на несколько порядков, люди просто слились, а LLM показали свои суперспособности с блеском.

В новом исследовании сравнивались способности людей и разных LLM на задачах теории разума высоких порядков.

Речь здесь о порядках интенциональности (далее просто порядки).

Это количество ментальных состояний, вовлеченных в процесс рассуждения в рамках ТоМ.

• С высказываниями 3-го порядка люди справляются (“Я думаю, что вы верите, что она знает”).
• С 4-м порядком уже возникают трудности и путаница (“Я знаю, что ты думаешь, что она верит, что он знает.”)
• С 5-м какая-то неразбериха — то получается, то нет (“Я думаю, что ты знаешь, что она думает, что он верит, что я знаю.”)
• Ну а в 6-м LLM слегонца обходит людей (“Я знаю, что ты думаешь, что она знает, что он боится того, что я поверю, будто ты понимаешь”), — и сами понимаете, что в 7-м и более высоких порядках людям делать нечего.

N.B. 1) Набор тестов, использованный для оценки ToM в этом исследовании, является новым, и задачи высшего уровня ToM вряд ли хорошо представлены в данных, на которых обучались модели.

2) Авторы предельно осторожны в выводах. Человеческая ToM развивается под воздействием эволюционных и социальных факторов, которых LLM не испытывают. Вместо этого способности LLM могут проистекать из неизвестной нам сложной машинерии в результате манипуляции высокоуровневыми статистическими взаимосвязями в данных.

Результаты исследования укрепляют гипотезу, что поведение LLM, функционально эквивалентное человеческому, может свидетельствовать о новой форме понимания, выходящей за рамки простой корреляции. Эта гипотеза предполагает, что

LLM могут обладать формой понимания, которую следует признать, даже если она отличается от человеческих когнитивных процессов.

PS Год назад в посте «На Земле появилась вторая мыслящая сущность, способная лгать» я предположил, что

ИИ изучает нас быстрее и продуктивней, чем мы его.

Новое исследование укрепляет в этом предположении.

#LLM #Понимание