Слепые гении живописи

Слепым от рождения людям не дано стать художником: как же это удается ИИ?

Сергей Карелов
2 min readSep 9, 2024

Хотите на реальном кейсе понять, насколько иначе устроен разум ИИ на основе языковых моделей? Тогда лучшего кейса, чем их «врожденная слепота» не найти.

Ибо этот кейс наглядно показывает, что, превосходя 99,99% людей по изобразительным способностям и распознаванию образов, мультимодальные языковые модели слепы в общепринятом у людей смысле.

Ведь для нас видеть — это не только возможность запечатлеть в памяти образ увиденного.

Для нас увидеть — значит воспринимать и интерпретировать визуальную информацию, понимая, что мы видим, или, хотя бы отдавая себе отчет, что мы этого не понимаем.

· Ведь не считаем же мы, что смартфон с камерой видит мир. Он лишь запечатлевает его картинку на носителе информации.

· А вот кошка, осьминог, воробей и стрекоза видят (с учетом более ограниченного, по сравнению с людьми, понимания).

Рассказу об этом посвящена 2я части лонгрида об инаковости разума людей и ИИ, проиллюстрированного десятками примеров.

· 2я часть начинается с рассказа о единственном в истории человечества слепом от рождения художнике Эшрефе Армагане и о том, что увидели в его мозге на фМРТ гарвардские исследователи Амир Амеди и Алваро Паскуаль-Леоне.

· Потом описываются несколько совсем новых экспериментов с лучшими мультимодальными большими языковыми моделями и их подтипом визуально-языковые модели. Эти эксперименты демонстрируют, «что их зрение … похоже на зрение умного человека, который слеп и делает обоснованные предположения.»

· Затем, на примере одного из тестов гаокао (китайский аналог ЕГЭ), предпринята попытка, путем многократных наводящих подсказок, помочь понять двум самым продвинутым моделям смысл того, что они «видят» на картинке комикса и почему. Мои попытки, увы, безуспешные, желающие читатели смогут, при желании, продолжить самостоятельно (вдруг-таки GPT-4o иои Claude 3.5 Sonnet начнёт хоть что-то понимать из того, что видят, по-человечески).

· Ну и, наконец, о самом главном.
— Что за сверхэффективная кросс-модальная когнитивность позволяет моделям превосходить 99,99% людей по изобразительным способностям, никогда не видя ни форм, ни цветов, ни света, ни тени, ни перспективы …

- И как эту когнитивную способность можно объяснить с позиций работ Оливера Сакса, Жан-Пьера Шанжё и Кевина Дорста.

Обо всем этом подписчики моих лонгридов могут прочесть на трех платформах по ссылкам в коменте.

#ГенИИ #LLMvsHomo #Экзопсихология #Экзосоциология #ПереосмыслениеКонтакта #ИнойИнтеллект

https://www.patreon.com/theworldisnoteasy

https://boosty.to/theworldisnoteasy

https://vk.com/club226218451

--

--

Сергей Карелов
Сергей Карелов

Written by Сергей Карелов

Малоизвестное интересное на стыке науки, технологий, бизнеса и общества - содержательные рассказы, анализ и аннотации

No responses yet