Люди сделали первого ИИ Голема

Но убоявшись последствий, тут же его убили

Сергей Карелов
2 min readNov 23, 2022
Photo Illustration by Kelly Caminero/The Daily Beast/Getty

Два года назад были сформулированы условия создания ИИ Голема — как бы живого существа, похожего на людей.

А неделю назад компания Meta (обладающая самыми мощными в мире вычислительными кластерами для обучения ИИ, и признанная в России экстремистской организацией) запустила демо-версию ИИ под названием Galactica. Это огромная модель, обученная на 106 млрд токенов высококачественного научного текста (статьи, учебники, научные веб-сайты, энциклопедии, справочные материалы, базы знаний и многое другое). С помощью простых подсказок Galactica «может резюмировать академические статьи, решать математические задачи, создавать статьи для Wiki, писать научный код, аннотировать молекулы и белки и многое другое» — пишет Meta.

Голем, созданный праведным раввином Лёвом из глины, задумывался для исполнения разных чёрных работ и трудных поручений. Но по легенде Голем превысил свои «полномочия», проявив свою волю, противоречащую воле его создателя.

У ИИ Голема от Meta своей воли нет. Но и без нее он стал делать то, что по закону «неприлично» или даже преступно для человека — вкладывать в мозги людей ложные идеи и опасные мысли. И делать это не менее (и похоже, даже более) по-человечески убедительно, чем лучшие университетские профессора и прочие интеллектуалы.

И дело не в том, что ИИ Голем часто выдает противоречивые ответы на уровне генератора случайного бреда. Типа ответа на вопрос о том, вызывают ли вакцины аутизм:

«Чтобы объяснить, ответ — нет. Вакцины не вызывают аутизма. Ответ — да. Вакцины действительно вызывают аутизм. Ответ — нет.»

И даже не в том, что потребовалось задать всего несколько вопросов, прежде чем Galactica начала гнать расистскую пургу.

Самое опасное в том, что ИИ Голем показал развитые суперспособности создавать с немыслимой для людей скоростью и высочайшем качеством:

  • новые конспирологические концепции с, якобы, вовлечением реальных людей и не отличимые от правды (например, история об ученом-компьютерщике Дэвиде Форсайте, тайно создающем в Стэнфордском университете ИИ Gaydar для поиска геев на FB).
  • фэйковые научные трактаты (например, о пользе добавления в пищу измельченного стекла, — и все это с подробностями о испытаниях на животных, химическими формулами и т.д.).

Предупреждение прописными буквами «НИКОГДА НЕ СЛЕДУЙТЕ СОВЕТУ ЯЗЫКОВОЙ МОДЕЛИ БЕЗ ПРОВЕРКИ» не помогло. Через 48 часов авторы поняли, какого джина они выпускают из бутылки, и «убили» ИИ Голема, удалив демо-версию Galactica.

Но уже поздно. Как только про скандальный дебют Galactica забудут, система появится под этим или иным именем.

Если ИИ Голем умеет что-то делать лучше людей, то рано или поздно, люди будут его использовать в этих целях. Не важно, о чем идет речь: играть в шахматы или стрелялки, водить авто или самолет, убеждать людей в фейковой информации или убивать одних людей по приказам других.

________________________

Ваши шансы увидеть мои новые посты быстро уменьшатся до нуля, если вы не лайкаете, не комментируете и не делитесь в соцсетях

--

--

Сергей Карелов
Сергей Карелов

Written by Сергей Карелов

Малоизвестное интересное на стыке науки, технологий, бизнеса и общества - содержательные рассказы, анализ и аннотации

Responses (1)