Начался ИИ апокалипсис, меняющий смысл закона Мура

Теперь количество разума во Вселенной будет удваиваться каждые 18 месяцев

Таково определение , данное Сэмом Альтманом (гендиром компании OpenAI, создавшей ChatGPT) для последствий происходящей революции, символом которой стал ChatGPT.

А ведь всего 7 лет назад Сэм весело острил:

«ИИ, скорее всего, приведет к концу света, но до того появится огромный бизнес».

Теперь же про него пишут, что он не расстается с “ядерным рюкзаком”, который можно использовать для дистанционного подрыва ЦОДов, если GPT выйдет из под контроля.

Чтоб понять, что стоит за лаконичной формулировкой Альтмана, и как теперь нам не спятить в ходе начавшегося ИИ апокалипсиса, — рекомендую прочесть соображения Эрика Хоэла — американского нейробиолога и нейрофилософа из университета Тафтса, — “How to navigate the AI apocalypse as a sane person”.

Пересказывать отличный текст с кучей примеров, — нет смысла. Хоэл — еще и писатель. Так что переписывать его — только портить.

Хочу лишь обратить ваше внимание на одну из ключевых мыслей. Ибо она резюмирует глубинное понимание происходящего и ближайшего будущего уже наступившего ИИ апокалипсиса.

Главный аргумент «рациональных техно оптимистов», считающих что ничего экстраординарного и сверх рискованного с появлением ChatGPT не произошло, таков.

✔️ Не смотря на выдающиеся результаты генеративных диалоговых ИИ (типа ChatGPT, Bing и т.д.), эти ИИ-системы не могут считаться разумными. Они не понимают мира и не обладают мотивацией агента. У них нет личности, проявляющейся в намерениях и действиях. А их интеллект — не есть интеллект, а лишь симулякр интеллекта. В своей основе этот симулякр — всего лишь автозаполнитель очередных слов, отражающий в своем вероятностном зеркале колоссальный нефильтрованный корпус написанных людьми текстов из Интернета.

✔️ А раз так, значит нет пока ни близкой перспективы появления сверхразума, ни связанных с этим рисков (хотя нужно, конечно, к этому готовиться, скорее всего, на горизонте десятков лет).

Ответ Хоэла (и заодно мой :) на эту аргументацию таков.

✔️ Из того, что ChatGPT и пр. — всего лишь автозаполнитель очередных слов, не следует, что он не может стать (или даже уже быть) разумным агентом. В отличие от сознания, интеллект — это полностью функциональное понятие: если нечто действует разумно, оно разумно. Если оно действует как агент, перед нами агент.

✔️ Вот поясняющий пример.
Есть влиятельная когорта ученых — Карл Фристон (наиболее цитируемый нейробиолог) и множество других известных имен, — которые утверждают, что цель нашего мозга — свести к минимуму удивление. Эта «гипотеза байесовского мозга» сегодня одна из магистральных. Теория утверждает, что на глобальном уровне минимизация удивления — это главная функция мозга. И хотя это всего лишь одна из нескольких ведущих гипотез о работе мозга, представим, что она верна.
А теперь представим, что инопланетяне находят человеческий мозг, смотрят на него и говорят: «О, эта штука просто сводит к минимуму удивление! Это не может быть основой интеллекта и потому не может быть опасным для истинных носителей разума».

Подумайте:

Действительно ли «сведение к минимуму сюрпризов» намного более сложная цель, чем автозаполнение слов текста? Или на самом деле это весьма похоже?

✔️ А раз так, значит нечеловеческий сверхразум может быть уже рядом. И связанные с этим риски уже вполне реальны.

Что еще добавить?

• Возможно, ChatGPT и пр. уже более универсальны в своем интеллекте, чем любой человек.
• Весьма вероятно, что ChatGPT и пр. одновременно:
  — разумны
  — ненадежны
  — не похожи на человеческий разум
  — вводят в заблуждение
  — неконтролируемы в любом фундаментальном смысле, кроме некоторых наскоро разработанных ограждений.

И если все это так, значит ИИ апокалипсис уже начался.

________________________

Ваши шансы увидеть мои новые посты быстро уменьшатся до нуля, если вы не лайкаете, не комментируете и не делитесь в соцсетях