Обречен ли мир?
Опубликована новая работа Ника Бострома «Гипотеза Уязвимого Мира»
В своей новой фундаментальной работе Бостром:
- классифицирует и анализирует сценарии, при которых технологические уязвимости подводят мир к краю пропасти;
- предлагает два взаимодополняющих варианта действий, способных, по его мнению, помочь человечеству избежать гибели.
Это важно по двум причинам.
- Во-первых, — тема (важнее её, наверное, и нет).
- Во-вторых, потенциал влияния идей автора.
Он — признанный авторитет для самых известных и влиятельных людей бизнеса (от Билла Гейтса до Илона Маска). А поскольку его новая работа ориентирована на сильных мира сего, способных определять путь развития человечества, она может повлиять не только на крупных бизнесменов, но и на ведущих политиков. И не только в вопросах технологий, а также в вопросах безопасности и геополитики.
__ __ __
Черный шар
Начать стоит с объяснения, почему есть все основания полагать, что мир подошел к пропасти. Что это не очередная страшилка техно-пессимистов, а вполне обоснованная оценка существующих экзистенциальных рисков.
Когда люди изобретают новую технологию, никто не знает заранее всех её побочных отрицательных эффектов. Они выявляются потом, уже в ходе использования технологии.
- Например, сначала люди начали широко использовать хлорфторуглероды для аэрозолей и холодильников.
- Потом выяснилось, что они истощают защитный озоновый слой.
- Лишь после этого человечество начало с этим бороться.
Иногда последовательность иная.
- Сначала ГМО все боятся.
- Потом появляется масса исследований, предполагающих отсутствие здесь тотальной опасности.
- Затем весьма авторитетные люди (Нассим Талеб и Янир Бар-Ям) объясняют, что оптимистические исследования ошибочны, и потенциальный риск недопустимого уровня.
- Пока Талеба и Бар-Яма не слышат, а потом — кто знает.
Насколько катастрофической может оказаться последовательность циклов оптимистической и пессимистической оценки рисков, Бостром показывает на следующем примере.
В 1942 один из ученых Манхэттенского проекта поделился с его руководителем опасением, что ядерный взрыв создаст температуру, беспрецедентную в истории Земли, и тем самым создаст условия, подобные тем, что в центре Солнца, и это может вызвать самопроизвольное распространение термоядерной реакции в окружающем воздухе или воде.
Проверочные расчеты показали, что это будто бы не так. Риска гибели планеты, вроде как, нет. После чего решились на проведение эксперимента Trinity. И ура! Эксперимент подтвердил правильность расчетов.
Но ужас в том, что смысл резюме заключения о возможности проведения эксперимента Trinity, был такой — риск гибели планеты весьма маловероятен, но хорошо бы проверить экспериментально …
«One may conclude that the arguments of this paper make it unreasonable to expect that the N + N reaction could propagate. An unlimited propagation is even less likely. However, the complexity of the argument and the absence of satisfactory experimental foundation makes further work on the subject highly desirable».
А спустя 12 лет в секретном ядерном эксперименте Castle Bravo планировалось испытать опытный экземпляр термоядерной бомбы на основе лития. И поскольку никто точно не знал, как рванет такая бомба, повторилась ситуация эксперимента Trinity.
Провели расчеты, и получилось, что рванет на 6 мегатонн с диапазоном неопределенности 4–8 мегатонн. На деле был превышен даже максимальный порог — взрыв получился в 15 мегатонн (примерно 1000 Хиросим!) и разрушил большую часть испытательного полигона всемте со всем оборудованием.
Короче, ошиблись в расчетах. Бывает.
Но что, если бы ошиблись в расчетах не эксперимента Castle Bravo, а эксперимента Trinity???
Ведь называя вещи своими именами, миру просто повезло!
Бостром предлагает для объяснения этого везения следующую метафору.
Представьте человека или группу людей, вытаскивающих из вазы лежащие в ней шары, символизирующие всевозможные идеи, открытия, технологические изобретения. В течение истории мы извлекли большое количество шаров — в основном белых (полезных), а также различных оттенков серого (полезных и в то же время умеренно вредных). Кумулятивный эффект влияния всех новаций на состояние человечества до сих пор был в целом положительным, и может быть намного лучше в будущем.
Но до сих пор мы не достали ни одного черного шара — технологию, которая непреднамеренно, но обязательно разрушит цивилизацию, достигнув определенного уровня развития. И причина не в том, что мы были особенно осторожны или мудры в нашей технологической политике. Нам просто везло.
Ну а если вытянем наконец черный? Что тогда — поздно будет пить Боржоми?
Нет — считает Бостром. К этому можно и нужно подготовиться. С тем, чтобы иметь план действий на этот случай.
Варианты рисков
Во-первых, считает автор, нужно четко классифицировать риски и понять с какими типами уязвимостей они связаны.
У Бострома получается так.
Тип 1: «Простенькая бомбочка или демократизация массового уничтожения» (“easy nukes”), когда ядерную бомбу или иной смертоносный технологический артефакт может сделать или купить, если не каждый, то многие (включая крезанутых и фанатиков).
Ведь то, что атомная бомба требует несколько кило плутония или высокообогащенного урана (произвести которые очень трудно и дорого) — просто гигантская везуха для человечества.
Представьте себе, что было, если бы для получения энергии атома не потребовались редкие и дорогие вещества и операции. Что если бы, например, можно было получить доступ к атомной энергии, просто пропуская электрический ток через металлический предмет, помещенный между двумя стеклами.
И что тогда? Ведь запретить стекло или металлические пластины невозможно. До и ограничить их обращение тоже.
А ведь с программированием ИИ может получиться именно так. Никаких редких материалов и никаких сложных производственных процедур.
Тип 2а: «Безнаказанно ударить первым или стимуляция массового уничтожения» (“safe first strike”), когда какое-то государство решит, что уже получило необходимое технологическое превосходство, чтобы жахнуть по врагу первым.
Посмотрите на 1е десятилетие истории ядерного оружия.
Да человечеству просто жутко повезло, что США, имея абсолютное превосходство над СССР не решились на безнаказанный удар, подобный Хиросиме и Нагасаки.
И причина этого везения, скорее всего в свежей памяти об ужасах недавно закончившейся 2ой Мировой.
Сейчас эта память выветрилась в головах политиков и военных. И если подобный перекос в силах повторится, например, вследствие ИИ-превосходства, мир получит вариант 2а.
Тип 2b: «Анархия и бардак» (“worse global warming”), когда полуанархические действия отдельных стран так неудачно сложатся, что в сумме их действий мир окажется перед угрозой каюка. Будет ли это с неким худшим из вариантов разрушения озонового слоя или с иными потенциальными изменениями климата — не важно. Мир — система нелинейная. И если все государства будут лишь стремиться к обеспечению своих шкурных интересов, результат может быть непредсказуем и катастрофичен.
Тип 0: «Сюрпризы темной материи» (“surprising strangelets”), когда достигается некий уровень развития определенной технологии, несущий в себе запредельно высокий скрытый риск, что при его материализации (возможно, даже непреднамеренной) к цивилизации приходит северный пушной зверёк.
А поскольку человечеству не дано знать, где оно столкнется с подобным, то и вариантов исправить ситуацию может уже не быть. Просто вытянет человечество свой черный шар и всё.
Варианты действий
Бостром рассматривает 2 варианта действий политиков по отношению к названным типам рисков/уязвимостей:
- Дурацкие действия (типа «ограничить/взять под контроль развитие конкретной технологии» и/или включить «промывание мозгов»)
- Умные действия («Профилактическое глобальное наблюдение и социальный контроль» в стиле китайского «Технологического Паноптикона» и «Глобальное правительство»)
Предлагаемые Бостромом умные действия основаны на такой логике:
- Только эффективная профилактическая полицейская деятельность способна остановить отмороженных одиночек. А для этого нужно тотальное наблюдение.
- Только абсолютная координация, если не всех, то хотя бы крупнейших государств в стиле “мировое правительство”, способна остановить отмороженные режимы.
Не буду комментировать аргументацию Бострома, каким образом предложенные два «умных действия» могут помочь предотвратить экзистенциальные риски для человечества.
Уже появившиеся комментарии (см. например, отличную статью Vox) выражают большие сомнения в реализуемости обоих предложений Бострома.
От себя лишь добавлю.
О китайском варианте «Технологического Паноптикона» я уже писал в июльском посте «Идеальная е-тюрьма по-китайски».
За прошедшие 5 месяцев мое мнение не изменилось.
Секрет успеха «Технологического Паноптикона» не в технологии, а в культуре. И потому не факт, что подобные системы контроля будут эффективны в Европе и США (это не Китай).
О глобальном международном сотрудничестве (в пределе — глобальном правительстве) я также уже писал в октябрьском посте о влиянии технологий ИИ на геополитику.
Теоретическая возможность создания глобального правительства в далеком будущем существует. Но до этого далекого будущего человечеству нужно суметь дожить.
Бостром уверен, что с обоими действиями нельзя откладывать. Кабы уже не было поздно. Для реализации «Тотального наблюдения» потребуется немало времени из-за технологических проблем. А для продвижения к «Глобальному правительству» времени потребуется еще больше из-за политических и социальных заморочек и шкурных интересов национальных элит. Ведь даже Объединенная Европа трещит по швам. А что говорить о «Глобальном правительстве».
Альтернативные гипотезы балансировки экзистенциальных рисков
Получается, что если и есть надежда, то не на «тотальное наблюдение» и «глобальное правительство», а на какие-то иные варианты.
Сразу скажу, — в “добрых ангелов человеческой души”, проповедуемых Стивеном Пинкером, я не верю. Однако, есть еще варианты.
Например, вариант «большой войны» может не реализоваться сам по себе, — просто в силу неизвестной пока закономерности, лежащей в основе снижения вероятности массовой гибели людей с увеличением мощности вооружений — снижения «коэффициента кровопролитности»
- Возможно, так работает техногуманитарный баланс, снижая уровень смертельной внутривидовой агрессии человечества и «коэффициент кровопролитности» войн.
- А может в основе этой закономерности гипотеза Тревора Дюпую об адаптации цивилизаций к повышению летальности оружия, иллюстрируемая двумя нижеследующими графиками.
Возможен и еще один способ спасения — вариант «меняющие свой цвет шары», предложенный в ходе обсуждения новой работы Бострома юзером с ником brianwang712.
Представьте, что всякий раз, когда мы достаем очередной шар из вазы, это влияет на цвет остальных оставшихся в вазе шаров. Здесь важно, что некоторые белые шары, которые мы вытаскиваем из вазы (например, некие защитные технологии), осветляют цвет определенных серых или черных шаров, оставшихся в вазе. Конкретным примером этого является суммирование достижений в области медицины за прошедшее столетие, которое снизило риск возникновения глобальной пандемии человечества.
И тогда метафора Бострома о доставании шаров из вызы не обязательно приведет к цивилизационной катастрофе — по крайней мере до тех пор, пока мы в состоянии четко различать те белые шары, что оказывают понижающее риск действие.
А дальше, уж как повезет!
________________________________
Если вам понравился этот пост — не забудьте:
- нажать “палец вверх”;
- подписаться на обновления канала на платформе Medium;
- оставить комментарий.
Еще больше материалов на моем Телеграм канале «Малоизвестное интересное». Подпишитесь
