Твои глаза лгут, а мозг подкупает
Как иллюзии — и нейросети — заставляют нас верить в собственную непогрешимость
И как вам этот бред с тремя танцовщицами на этом GIFе?
https://drive.google.com/file/d/1Nqz3NGnTuLlOhlLpU63zvsM8lwsw97vH/view?usp=sharing
✔️ Если смотреть на танцовщиц слева и посередине, то средняя вращается по часовой стрелке.
✔️ Если же смотреть на танцовщиц справа и посередине, то средняя вращается против часовой стрелке
Какой из вариантов, по-вашему, истина?
Увы!
Как я писал в «”Ловушке Гудхарда” для AGI», — современная наука не располагает вескими основаниями для теоретических или эмпирических критериев различения разума «нормального, рационального человека» от «иррационального разума безумца». То есть невозможно, проведя тесты, сделать однозначный вывод — перед нами разумный или безумный человек. Здесь все слишком зыбко, условно и не точно, чтобы решать такие вопросы тестированием с бинарным вердиктом «да/нет».
· Наш мир так интересно устроен, что абсолютно всё, что нам кажется очевидным, рекомендуется ставить под вопрос. Ибо наши убеждения и вся наша культура в целом формируются на основе субъективного восприятия. А оно почти всегда врёт.
· Как же люди выживают, будучи в плену этой «иллюзии разумности»?
· Для этого эволюция создала для всего живого особую «валюту» — уверенность. И теперь, помимо нас, та же «валюта» в тех же целях используется и языковыми моделями (LLM), от советов и рекомендаций которых мы все больше зависит при принятии решений.
· В результате получается, что от того, каков «курс обмена» уверенности ИИ в уверенность ЛПР (лица принимающего решение), будет зависеть практически всё: от решения что-либо купить до решения о нанесении ядерного удара.
Зачем знать курс обмена долларов в рубли — понятно всем.
А вот вопросом, зачем знать «обменный курс» уверенности ИИ в вашу уверенность при принятии решения, — вряд ли кто-то из вас озадачивается.
Тогда как знать это критически важно:
— Для людей. Ибо, осознав, что «уверенность ≠ истина», мы учимся интеллектуальному смирению и лучше фильтруем инфопоток.
— Для ИИ. Ибо чем прозрачнее модель заявит о границах своих знаний, тем меньше риска, что пользователь «купится» на её иллюзию непогрешимости.
— Для общества. Ибо понимание, что любая культура — это согласованная, но не абсолютная карта реальности, помогает строить диалог вместо конфронтации.
Иначе говоря, чтобы сделать и людей, и алгоритмы разумнее, нужно не столько увеличивать объём данных и число параметров LLM, сколько учить и себя, и LLM правильно сомневаться.
Неумение правильно сомневаться дорого стоило человечеству. В наше время «иллюзия объективности» стала самым страшным пороком — хуже трусости.
Бороться с иллюзиями — зацементированными в нас эволюционными нейрокодами когнитивных искажений, — задача колоссальной сложности.
А с переходом мира в цифру, «иллюзия объективности» встраивается во все инфопотоки социальных медиа, становясь главным фактором роста супер-поляризации (внутри каждого из обществ и между ними). Результат этого — скачок насилия, разгоняемого активацией единственного нейрокода, встроенного в нас природой для преодоления супер-поляризации — кода с условным названием «если другая сторона не сдается, то её уничтожают».
«Иллюзия объективности» в «разуме» ИИ будет стоить людям еще дороже.
Вот короткое пояснение этой мысли.
ИНФОРМАЦИЯ К РАЗМЫШЛЕНИЮ
1. Предсказательный мозг
В книге «Иллюзия разума» Филипп Штерцер напоминает: то, что мы зовём «объективной реальностью», на деле есть результат торговли между сенсорным потоком и ожиданиями мозга. Последние prior’ы экономят ресурсы, но зато окрашивают всё переживание мира и дают старт предубеждениям — от футбольных пристрастий до фанатичных идей.
2. Сенсорная симфония
Это предсказательное машинопись не ограничивается зрением. Мы одновременно «слушаем» кожу, суставы, запахи, звуки, и мозг синтезирует единую сцену, фильтруя каждое впечатление через личный опыт, культурные схемы и текущие цели. Разные среды и биографии создают разные фильтры — отсюда непохожесть картин мира и самих культур. Иллюзорность «чистого» восприятия ― базовый факт, а не философский парадокс.
3. Уверенность как внутренняя награда
Берлинские нейропсихологи показали, что субъективная уверенность может служить заменой внешнего вознаграждения. В их эксперименте, когда обратной связи не было, прирост уверенности запускал тот же алгоритм обучения, что и денежные награды: мозг использовал prediction error уверенности (разницу между ожидаемой и фактической уверенностью) и усиливал выбранную стратегию. Причём люди, которые быстро учились на деньгах, столь же активно «обучали себя» уверенными ощущениями.
4. Машины, которые учатся сомневаться
Похожая логика всплыла в работе о больших языковых моделях. Исследователи сравнили метакогницию людей и LLM и выяснили: у моделей тоже есть внутренние индикаторы «я знаю/не знаю». Чем крупнее модель, тем точнее она соотносит уверенность с правильностью ответа. Но, как и люди, ИИ склонен к перекосам: он часто переоценивает себя и редко честно признаётся в сомнениях. Авторы предлагают тренировать модели не только на «правильный ответ», но и на калиброванную коммуникацию неопределённости, иначе пользователь станет заложником чужого заниженного или завышенного самоумения.
Общий знаменатель — четырёхходовая цепочка
- Субъективность неизбежна. Мозг, чтобы выжить, строит предсказания быстрее, чем успевает измерить мир. Любое восприятие — уже интерпретация.
- Уверенность — универсальный регулятор этой интерпретации. Когда ожидания совпадают с сигналом, мы чувствуем «правоту» — и именно она подталкивает мозг (или алгоритм) повторять успешные гипотезы.
- Культура — это коллектив таких частных предсказаний. Языки, научные теории или политические мифы эволюционируют так же, как внутренние модели: за счёт социальных «наград-наказаний» и обмена сигналами уверенности.
4. Чтобы сделать и людей, и алгоритмы разумнее, нужно не столько увеличивать объём данных и число параметров LLM, сколько учить и себя, и LLM правильно сомневаться.
#КогнитивныеИскажения #LLM
