Топор под компасом американской разведки

Краудсорсинг против рынков предсказаний

Бомба замедленного действия. — Таинственная смерть на Эвересте. — Триумф и крах Intrade. — Упреждающая разведка. — ЦРУ спешит на помощь. — Результативность прогнозов растет. — Но точность хромает. — Два сокрушительных удара. — Черные лебеди не ловятся. — Требуются кентавры.

Image for post
Image for post
Вестибюль штаб-квартиры ЦРУ в Лэнгли. Фото: Saul Loeb

Перед вами 4й пост постосериала «ЦРУ создает кентавров для предсказания будущего». В нем рассказывается о 2ом этапе технологических исследований разведки США возможностей предсказания будущего.

Этот 2й этап можно условно назвать «Краудсорсинг против рынков предсказаний», и его отличительными особенностями были.

  1. Отказ от игры на деньги на рынках предсказаний, в связи с законодательным запретом, введенным в США после скандала с проектом РАМ и программой FutureMAP (см. 2й пост сериала);
  2. Взрывной рост бюджетов на исследования, в связи с решимостью правительства США идти на что угодно, лишь бы предотвратить повторение теракта 9/11 (см. 3й пост сериала);
  3. Ставка на альтернативный метод извлечения “мудрости толпы”:
    - вместо “невидимой руки” рынков предсказаний,
    - психологические методики и хитрые алгоритмы агрегации предсказаний при краудсорсинге.

Эти особенности породили очевидное противоречие:

  • с одной стороны, бюджет на исследования этого этапа качественно вырос (т.е. денег было очень много);
  • с другой — исключался главный мотиватор процесса предсказаний — возможность участникам на них заработать (т.е. деньги уходили не прогнозистам, а тем, кто их “пилил” — исследователям и бюрократам).

В результате получился своеобразный “топор под компасом”, и команда американской разведки, сама того не подозревая, сменила курс.

Нет азартным играм в сети — крах рынков предсказаний

Image for post
Image for post
Художник John W. Tomac

Зарабатывать на политических прогнозах люди начали задолго до появления рынков предсказаний, да и вообще, компьютеров.

Политические ставки на результаты выборов (Political Betting Markets) были уже весьма популярны в XVI веке в Венеции и Генуе. В XVIII веке их популярность распространилась и на Британскую империю, а в XIX — на США (подробней см. здесь).

На фаворитов президентских выборов 1916 года Вудро Вильсона и Чарльза Хьюза было поставлено около $160 млн (почти $4 млрд в долларах 2018 года). Для сравнения, сумма ставок на президентские выборы 2004 года на ведущем в то время мировом рынке предсказаний Intrade была в 160 раз меньше, не превысив и $25 млн.

Тем не менее, бурный рост интернет площадок в начале 2000ых, казалось бы, сулил онлайн рынкам предсказаний заоблачные перспективы. Как тогда писал Джастин Вульферс, профессор бизнеса в Wharton School:

«Через несколько лет мы будем считать вторую половину 20-го века аберрацией, в которой пресса использовала опросы, а не рынки предсказаний для отслеживания политических раскладов в обществе… Ну а в 21-м веке мы вернемся к практике начала 20-го века, основывая политические прогнозы на рынках предсказаний, а не на куда менее точных опросах общественного мнения» (подробней см. здесь).

Никто тогда не предполагал, что скандал с остановкой проекта РАМ и программы FutureMAP станет бомбой замедленного действия и угробит-таки индустрию рынков предсказаний.

Три года потребовалось законодателям США, чтобы к 2006 году разработать и принять закон, вообще запрещающий какие-либо азартные игры на деньги в Интернете (Unlawful Internet Gambling Enforcement Act of 2006 (UIGEA)).

Вследствие принятия этого закона, бизнес на рынках предсказаний (который, собственно, и был платформой для азартных игр на предсказаниях в интернете) нужно было, как минимум, эвакуировать из США. Что без потерь удалось далеко не всем.

В результате трудностей, возникших у многих американских рынков предсказаний, позиции расположенного в Дублине (Ирландия) набиравшего популярность рынка предсказаний Intrade сильно укрепились. И на следующих президентских выборах в США 2008 он показал отличные предсказательные результаты.

В журнале Public Opinion Quarterly был опубликован детальный анализ Дэвида Ротшильда “Forecasting elections comparing prediction markets, polls, and their biases”. В нем показывалось на данных избирательной кампании 2008 года, что по точности предсказаний выборов, котировки электронной площадки Intrade превзошли все отдельные прогнозы на основе опросов общественного мнения.

Ротшильд обнаружил, что при прогнозировании результатов выборов 2008 рынок предсказания Intrade были не менее точными, чем у хваленой алгоритмической модели 538 Нейта Сильвера, агрегирующей информацию множества соцопросов с учетом демографических данных (и по сей день считается самой точной интегральной площадкой предсказаний на основе данных соцопросов).

Понимая несомненные преимущества рыночного механизма рынков предсказаний при игре на деньги, многие гиганты IT отрасли вступили в борьбу с запретом «игр на деньги» в Интернете. В 2008 г. с 28-страничным обращением в федеральные органы власти обратились компании Google и Yahoo.

Image for post
Image for post
Первая и последняя страницы письма Google и Yahoo в CFTC

Через полгода, уже в 2009 к этому обращению присоединилась компания Microsoft.

Image for post
Image for post
Письмо Microsoft в CFTC

В письме четко обосновывалась важная роль рынков предсказаний:

“стимулирование инноваций и практическая польза в качестве инструмента предсказаний, как для бизнеса, так и для широкой общественности”.

Но федеральные власти были непоколебимы в решении запретить любую игру на деньги в Интернете и просто “послали” большой бизнес заниматься бизнесом, а не мешаться под ногами.

Киты бизнеса поняли, что будет себе дороже, и отказались от попыток нажима на федеральную власть.

Из мало-мальски серьезных активных противников запрета «игр на деньги» в Интернете остался только рынок предсказаний Intrade во главе со своим СЕО Джоном Делани.

Неукротимый Делани не оставлял попыток борьбы за права граждан зарабатывать реальные деньги на рынках предсказаний, постоянно выступая на эту тему на конференциях и в прессе. Но его персональный риск, как руководителя Intrade, почти в одиночку бьющегося с федеральным законодательством США, становился все выше. И поэтому Делани даже пришлось отказаться от поездок в США. По этому поводу он писал:

“… because that risk could have big personal costs for me, until things are a little bit clearer, I’m going to stay in Dublin”

Image for post
Image for post
СЕО Intrade Джон Делани (John Delaney) — фото John Cogill/ Bloomberg / Getty Images

Так продолжалось до мая 2011, когда увлекавшегося альпинизмом 40-летнего Делани настигла таинственная смерть в «мертвой зоне» Эвереста — примерно в 50 метрах, не доходя до вершины. Он оставил жену и троих детей, включая дочь, родившуюся всего за три дня до этого. А его тело оставалось на горе, что сделало похороны невозможными, и поэтому семья провела поминальную службу, в которой участвовали и инвесторы Intrade (подробней см. здесь).

А менее чем через год, уже без Делани, рынку предсказаний Intrade предстояло дать свое последнее представление на президентских выборах в США 2012 года. И это представление получилось впечатляющим.

Через двадцать дней после начала торгов на Intrade их участники абсолютно точно предсказали исход выборов очередного президента США во всех штатах кроме Флориды.

Image for post
Image for post
Christina Lu / BuzzFeed

Видимо, это была последняя капля.

Через 3 недели после подведения итогов выборов Комиссия по торговле товарными фьючерсами США (CFTC) подала гражданский иск против Intrade в федеральный окружной суд в Вашингтоне за незаконную торговлю фьючерсами. Речь также шла о судебном запрете на участие граждан США в торгах на рынках предсказаний.

Результат был предсказуем без всяких рынков предсказаний. Через 4 месяца рынок предсказаний Intrade остановил работу и больше уже не открылся.

_________________________

Таким образом к 2013 году настоящие рынки предсказаний (играющие на деньги, а не на фантики) были полностью закрыты в США. Да и за пределами США также ни у кого не оставалось желания экспериментировать, т.к. законодательство США запрещало своим гражданам играть на деньги по Интернету где угодно.

Два исключения, получившие лицензию CFTC в связи с, якобы, научными целями их работы, — это Iowa Electronic Markets Университета штата Айова и PredictIt новозеландского Университета Виктории — никак изменить ситуацию не могли. И хотя им было позволено играть на деньги, но на очень маленькие (в 1ом максимальная ставка $500, а во 2м — $850).

Низкие ставки и недостаточно большое число участников торгов:

  • не позволяют рынкам собирать всю доступную информацию, и вместо этого, они лишь отражают суждения нишевых сообществ;
  • в результате рынки получаются небольшого размера и потому они испытывают дикие краткосрочные колебания цен, когда несколько игроков теряют терпение и начинают активно покупать или продавать (подробней см. здесь).

В итоге, к середине 2010х стало ясно, что исключение возможности использовать рыночный механизм рынков предсказаний качественно снижает точность их предсказаний.

И тогда разведка США решила пойти другим путем — агрегировать «коллективную мудрость толпы» по предсказанию будущих событий не с помощью рыночного механизма, а путем использования «коллективного разума», возникающего в процессе краудсорсинговых соревнований по предсказаниям.

Идея была в том, чтобы:

  • опробовать различные способы и механизмы кардинального повышения тщательности проработки, точности и оперативности различного рода прогнозов, получаемых путем извлечения, взвешивания и комбинации суждений множества аналитиков-краудсорсеров;
  • научиться выявлять среди участников супер-предсказателей, показывающих наилучшие результаты.

В игру вступает упреждающая разведка

Image for post
Image for post

2ой этап технологических исследований разведки США возможностей предсказания будущего начался в 2010. Его возглавило правительственное агентство по финансированию разработок прогностических технологий предотвращения грядущих глобальных кризисов и конфликтов Intelligence Advanced Research Projects Activity (IARPA).

Предсказание/прогнозирование будущего, под кодовым названием «Упреждающая разведка» (Anticipatory intelligence), стало одним из 4х «китов» в основании всей работы IARPA (наряду со сбором информации, ее обработкой и анализом). Собственно, именно технологии предсказания/прогнозирования будущего и стали главной целью работы IARPA. А остальные 3 «кита» — лишь вспомогательными подготовительными этапами для предсказаний.

Image for post
Image for post
Четыре «кита» деятельности IARPA. Источник: из материалов IARPA

Четверть из, примерно, 32 ежегодных исследовательских программ IARPA сфокусированы на решении задач Упреждающей разведки. И хотя бюджет IARPA засекречен, из слов ее руководителя следует, что ежегодное финансирование программ Упреждающей разведки составляет не менее $200-$250 млн.

Цель Упреждающей разведки сформулирована так.

Анализ и уменьшение неопределенности при принятии решений руководителями высокого уровня, путем предоставления им своевременных и точных прогнозов грядущих значительных событий.

Программы Упреждающей разведки весьма разнообразны, но каждая из них:

  • разрабатывает технологии создания своевременных прогнозов для четко определенных событий и их характеристик (например, кто, что, когда, где и как);
  • проходит строгое, детальное и постоянное тестирование и оценку точности;
  • имеет показатели, которые включают время выполнения, точность, доли ложноположительных и ложноотрицательных прогнозов, рассчитываемых путем сопоставления прогнозов с событиями реального мира;
  • предоставляет прогнозы в контексте происходящих и предполагаемых событий.
Image for post
Image for post
Распределение исследовательских программ IARPA 2017 года по направлениям. Источник: из материалов IARPA

За 8 лет (2010–2017 гг) в области Упреждающей разведки были завершены 4 программы:

  • ACE — совершенствование методологии и организации коллективных предсказаний;
  • ForeST и FUSE — прогнозирование состояния дел в науке на основе автоматической аналитики по выявлению информации о перспективных новых технологиях;
  • OSI — прогнозирование на основе непрерывного автоматизированного анализа общедоступной информации и опережающего выявления в ней ранних признаков предстоящих событий;

7 программ еще продолжаются. 5 из них относятся к завершаемому 2му этапу исследований:

  • CREATE — краудсорсинг коллективных предсказаний;
  • CAUSE — прогнозирование кибер-атак путем опережающего обнаружение их едва уловимых признаков;
  • FunGCAT — анализ и предсказание угроз синтетической биологии;
  • Mercury — программа подобная OSI, но для автоматизированного анализа иностранных разведовательных сигналов;
  • SCITE — обнаружение и предсказание вредоносной инсайдерской деятельности.

А две программы (HFC и Focus) относятся уже к следующему 3му этапу (2018-?), о котором планирую рассказать в следующем посте.

Вышеназванные программы покрывают весь спектр интересов упреждающей разведки:

— прогнозирование социальных волнений, политических кризисов, террористических атак, кибератак, военных действий и угроз от вредоносной инсайдерской деятельности;

— прогнозирование развития тех из областей науки, достижения в которых способны породить угрозы национальной безопасности США (с особым приоритетом угроз синтетической биологии).

Однако, эти программы далеко не исчерпывают арсенал средств, направляемых разведсообществом США на решение задач упреждающей разведки.

В 2015 г. в ведущем развед-агентстве США ЦРУ, впервые с 1963 года (когда Дивизион Научной Разведки был инкорпорирован в Директорат Науки и Технологий), произошли кардинальные структурные изменения.

Был создан новый Директорат Цифровых Инноваций. Его возглавил зам. директора ЦРУ Эндрю Халлман — уравновешенный и энергичный импозантный интеллектуал в прекрасно сидящих костюмах, чем-то похожий на героя его любимого сериала “Mad Men” Дона Дрэпера. Его кредо, неоднократно озвученное при публичных выступлениях, — AI и машинное обучение революционизируют разведку.

Image for post
Image for post
Директор Цифровых Инноваций ЦРУ Эндрю Халлман. Источник FedScoop

Эндрю Халлман, как и директор IARPA Джейсон Матени (см. 1й пост), фанаты использования прорывных технологий в разведке. А поскольку бюджет IARPA не резиновый, а среди его стейкхолдеров есть и консервативно настроенные по отношению к упреждающей разведке, ЦРУ спешит на помощь IARPA, беря на себя финансирование части прорывных разработок через свой вечурный фонд In-Q-Tel.

Среди этих разработок (1) проекты платформ по предсказаниям и прогнозированию, а также (2) проекты майнинга больших данных соцсетей в целях выуживания из них «опережающих индикаторов» грядущих важных событий и лиц, влияющих на формирование инфоследов таких событий в социальных медиа.

В качестве примеров финансируемых In-Q-Tel проектов 1го направления, назову:

Проекты 2го направления, финансируемые In-Q-Tel:

  • Dataminr — самообучающийся майнинг потоков данных Twitter;
  • Dunami — контроллер ассоциаций и центров влияния в Facebook, Twitter и Instagram;
  • Geofeedia — мониторинг движения масс народа.

Параллельно с созданием Директората Цифровых Инноваций ЦРУ, был реализован проект стоимостью $600 млн. по созданию единой облачной платформы на базе Amazon Web Services для всех 17 разведслужб США.

Все вышеперечисленное просто обязывало руководство спецслужб, кровь из носа, но предъявить результаты.

Результаты становления упреждающей разведки

Можно говорить о 2х главных результатах 2го этапа (2010–2017) технологических исследований разведки США возможностей предсказания будущего:

  1. Результативность упреждающей разведки, вроде как, возросла.
  2. Но точность предсказаний выросла не очень
Image for post
Image for post
Полиция пытается остановить протесты в Каракасе, Венесуэла в 2016. Фото Фернандо Лано

Почему «вроде как возросла», а не точно возросла, — понять не сложно. Просто не с чем сравнивать. Раньше результативность упреждающей разведки никто не мерил. Другие у разведки были KPI. Теперь же разведка бодро рапортовала Белому дому о своих упреждающих прогнозах.

Среди объявленных в открытых источниках достижений упреждающей разведки США можно назвать следующие прогнозы на 2012 г. по региону Центральной и Южной Америки, «осуществленные заблаговременно, точно и с учетом контекста»:

Конкретные результаты по другим регионам публично не оглашались, однако, по утверждению Эндрю Халлмана, к 2016 году упреждающая разведка США научилась с высокой точностью прогнозировать возникновение вспышек социальной нестабильности, конфликтов и террористических атак за 3–5 дней до того, как они произойдут.

С одной стороны, декларируемая точность подобных прогнозов вполне может считаться достижением разведсообщества США.

С другой стороны, предсказательные возможности с горизонтом событий в 3–5 дней могут устроить разве что обывателей, собирающихся устроить пикник в ближайший уикенд и интересующихся погодой на выходные.

Для упреждающей разведки социальной нестабильности и конфликтов позарез необходим горизонт прогнозирования хотя бы в пару недель, а по-хорошему, — в 3–5 недель.

Что же до прогнозирования военных действий и несущих угрозы новых научных разработок, то здесь для первого необходим горизонт предсказаний в несколько месяцев, а для второго — не менее года.

Резюмируя, можно сказать, — становление упреждающей разведки состоялось. Однако, ее выход на требуемый уровень предсказательной силы пока не произошел.

О причинах этого в завершающих частях этого поста.

О научных и технологических результатах 2го этапа технологических исследований разведки США возможностей предсказания будущего написаны десятки книг и сотни высокорейтинговых статей.

Пытаться повторить мой подвиг, прочтя их почти что все, — я настоятельно не советую.

Для тех, кто хотел бы более или менее детально разобраться в теме, вполне достаточно посмотреть и прочесть материалы пяти мастер-классов главного идеолога этапа, профессора психологии и социологии Филипа Тетлока «Краткий курс супер-прогнозирования» (8,5 часов видео и 61 000 слов сопроводительных стенограмм), очными слушателями которых стали многие звезды:
— обладатели Национальной медали науки политолог Роберт Аксельрод и психолог Энн Трейсман; — лауреат Нобелевской премии психолог Даниэль Канеман;
— директор CASBS Стэнфорда политолог Маргарет Леви;
— старший вице-президент Google Салар Камангар;
— знаменитый робототехник Родни Брукс;
— пионер массовых параллельных вычислений Даниэль Хиллис;
— известный медицинский инноватор Дин Камен;
— вице-президент Microsoft Research Питер Ли и др.
(пройдя по названной выше ссылке, заочным слушателем можете стать и вы 😃)

Image for post
Image for post
Идеолог 2го этапа исследований IARPA, профессор психологии и социологии Филип Тетлок

Тем же, кому достаточно популярного изложения, можно просто пролистать книгу Филипа Тетлока «Суперпрогнозирование: искусство и наука предсказаний», подводящую предварительные итоги экспериментов IARPA, проведенных в рамках 2го этапа исследований.

Если же предельно ужать ключевые выводы 2го этапа, опуская все умные слова, написанные их авторами для привлечения внимания читателей и создания у них максимально благоприятного впечатления, можно было бы сформулировать такой «сухой остаток» буквально в 3х пунктах.

  1. Экспериментально подтверждено, что, как минимум, в социально политических вопросах коллективные прогнозы/предсказания оказываются точнее индивидуальных, даже если последние делаются лучшими профессиональными экспертами.
  2. Качество коллективных предсказаний может быть повышено за счет максимально однозначных формулировок вопросов и четкого численного шкалирования прогнозов/предсказаний, переводящего их из словесных формулировок в численно выраженные оценки вероятности.
  3. Путем:
    (1) подготовки и обучения прогнозистов;
    (2) применения преобразований, стабилизирующих дисперсию;
    (3) использования случайных начальных значений в алгоритмах агрегирования оценок,
    — удается уменьшить интегральный показатель Бриера (среднеквадратичное отклонение ошибок предсказаний) до 0,155;
    — дополнительный отбор и селекция лучших прогнозистов еще больше снижает показатель Бриера до 0,1519 (см. 1 и 2).

Что сказать о таких результатах?

  • С одной стороны, неплохо. Названные цифры означают, что среднюю ошибку предсказаний краудсорсинга с помощью всех вышеназванных усовершенствований удалось понизить с 48% до 39%.
  • С другой стороны, результат не очень впечатляет. Ведь если просто подбрасывать монету, точность предсказаний, хоть и будет похуже, но не так чтобы очень.

Кроме того, уже под занавесь 2го этапа были опубликованы результаты 2х исследований, сильно обесценивших достижения всего этапа.

Краудсорсинг — хорошо, а рынок предсказаний лучше

Первое из этих исследований — это сравнительное исследование точности прогнозов, приведенных в официальных разведотчетах, с прогнозами этих же событий рынками предсказаний.

Казалось бы, при чем здесь рынки предсказаний? Ведь суть 2го этапа исследований как раз и была в том, чтобы, в условиях законодательного запрета игр на деньги на рынках предсказаний, опробовать альтернативный вариант — краудсорсинговые соревнования по предсказаниям.

Все так. Но ведь никто не запрещал играть на рынках предсказаний без денежной заинтересованности участников. А раз так, то можно было проверить, какова может оказаться точность прогнозов, формирующихся на рынках предсказаний без материальной заинтересованности участников. Понятно, что эта точность будет ниже, чем при игре участников на деньги. Но насколько ниже?

Это было с блеском проверено в работе «Comparative evaluation of the forecast accuracy of analysis reports and a prediction market», выполненной под руководством доктора Пола Ленера (Dr. Paul Lehner), главного начальника и контролера IARPA, отвечающего за тестирование и оценку результативности исследовательских программ ( Chief of Testing and Evaluation).

Image for post
Image for post
Доктор Пол Ленер, IARPA Chief of Testing and Evaluation

Согласно проведенному исчерпывающему анализу, оказалось, что прогнозы, полученные на рынках предсказаний (даже при убийственном для них отсутствии материальной заинтересованности участников):

  • существенно точнее прогнозов, приведенных в официальных разведотчетах;
  • почти на четверть точнее прогнозов самых усовершенствованных методов краудсорсинговых соревнований по прогнозированию (ошибка предсказаний, примерно, 30% против 39%)

Насколько высокой могла бы оказаться точность предсказаний, используй IARPA естественную для любого рынка денежную мотивацию участников, в отчете Ленера не говорится. Но подразумевается между строк.

Суперпредсказатели — вовсе не лучшие предсказатели

Другое исследование, сильно обесценившее достижения 2го этапа, провел Дэвид Алдос –математик Калифорнийского университета в Беркли, прославившийся своими работами по прикладным аспектам теории вероятности.

Image for post
Image for post
Математик Дэвид Алдос

Алдос математически доказал потрясающее откровение, названное им «Парадоксом турниров по прогнозированию». Оказывается, при существующей общепринятой системе ранжирования участников краудсорсинговых соревнований по прогнозированию, в таком соревновании выигрывает вовсе не самый точный прогнозист. Не буду вдаваться в то, как это доказано. Просто повторюсь — это математически доказанный факт.

И этот факт здорово бьет по лежащей в основе 2го этапа методике Тетлока, подразумевающей выявление и отбор суперпрогнозистов по результатам турниров по прогнозированию.

«Черные лебеди» также пока и не ловятся

Ну и последнее. Как это хорошо объяснил сам Филип Тетлок,

существуют два взгляда на возможность предсказания хода социально-политических событий.

Первый взгляд можно условно назвать «подход Нассима Талеба».

Согласно этому подходу,

«ход социально-политических событий — это продукт сил, которые никто не может предвидеть. ”Черные лебеди” — эпохальные события, такие как Первая мировая война, ядерные бомбы и ракеты для их доставки, изобретение Интернета — геополитические и технологические трансформационные события в истории, которые никто не предвидел и не мог предвидеть».

Image for post
Image for post
Диаграма, показывающая роль “черных лебедей — ”“неизвестного неизвестного” в жизни общества. Источник: The Hague Centre for Strategic Studies

С этой точки зрения историю лучше всего понимать в терминологии перемежающейся равновесной модели. Бывают периоды спокойствия и предсказуемости. Им на смену приходят сильные потрясениями, которые преображают вещи — иногда к лучшему, иногда к худшему. И эти поворотные моменты — ”черные лебеди” — в принципе непредсказуемы.

Альтернативный взгляд можно условно назвать «подход Филипа Тетлока». Он считает, что будущее можно предсказать в определенных типах задач из жизни общества. При том, что в других типах задач из жизни общества будущее предсказать нельзя.

«Можно, например, научиться и стать хорошим игроком в покер, предсказывающим, как будут играть его соперники. Менеджеры хедж-фондов, чья работа завязана на предсказаниях будущего, как правило, хорошие игроки в покер.

Но что значит быть хорошим игроком в покер? Вы учитесь быть хорошим игроком в покер, потому что вы получаете повторяющуюся четкую обратную связь, и у вас есть четко определенная выборка из того, каков был расклад карт в прошлом. Тогда вы действительно можете научиться делать разумные оценки вероятности того, какие расклады материализуются в игре.

Является ли мировая политика игрой в покер? Это то, что в каком-то смысле мы изучаем на турнире по прогнозированию IARPA».

Например, предсказание итогов выборов, по мнению Тетлока, куда больше похоже на покер, чем на влияние непреодолимой силы «черных лебедей», поскольку есть доступ к опросам, которые проводятся по репрезентативным выборкам, и обширный методологический опыт, обобщающий многочисленные образцы ситуаций из прошлых выборов.

Однако для других типов событий, например, предсказание исхода гражданской войны в Африке к югу от Сахары или того, что вирус H5N1 будет распространяться определенным образом, нет ни статистик, ни релевантных образцов.

Более того. Уже более-менее понятно, что «черные лебеди» возникают в результате коллективного поведения людей в предкритических ситуациях. И это относится к любым «черным лебедям», — непредвиденные глобальные обвалы финансовых рынков, национальные и глобальные экономические кризисы, эпидемии схлопывания политических режимов, типа «Арабской весны».

Ключевых факторов влияния на то, взлетит ли новый «черный лебедь» или все как-то утрясется без катастроф, — два.

  1. Насколько близко подошла система к критической (переломной) точке — фазовому переходу системы.

2. В какую сторону: к критической точке или от нее подталкивает систему коллективное поведение.

Это похоже на толпу у обрыва над пропастью.

  • Как поведет себя толпа?
  • Будет ли она в результате сотен индивидуальных действий еще ближе приближаться к краю, а потом и просто выдавливать в пропасть людей?
  • Или сумеет самоорганизоваться, начнет пятиться от края и тем самым предотвратит катастрофу?

Понять степень близости системы к критической точке не может ни эксперт, ни коллективный разум краудсорсеров. Предсказать момент появления «черного лебедя» они не могут, т.к. это выходит за рамки, названные Тетлоком «оптимальная граница прогнозирования», доступная для людей.

Иными словами, это функция, которая фиксирует максимум гипотетической точности прогнозов и ограничена только неприводимой неопределенностью истории.

Image for post
Image for post
Пояснение «оптимальной границы прогнозирования» на примере Hypothesized Opportunity Costs of Accountability Ping-Pong (балланс ложно-позитивных и ложно-негативных прогнозов). Источник: https://goo.gl/DzVPcU

«Никто на самом деле систематически не рассматривал этот вопрос, пока IARPA не спонсировало этот конкретный проект, который очень, очень амбициозен по масштабам. Это попытка решить вопрос о том, можно ли приблизить политическое прогнозирование к тому, что философы могут назвать оптимальной границей прогнозирования, превзойти которую люди просто не могут».

Эта заключительная мысль Тетлока, пожалуй, является не только лучшим резюме итогов 2го этапа исследований возможностей предсказания будущего, но и служит отправной точкой для работ нового 3го этапа, который уже начался в конце 2017 года.

Его цель — попытаться выйти за пределы оптимальной границы прогнозирования, чтобы ловить там «серых лебедей» и «розовых фламинго» (что это такое я уже писал здесь).

А поскольку эта граница — предел предсказательных возможностей людей, то и превзойти её, если смогут, то не люди, а лишь «кентавры» — когнитивные системы, объединяющие возможности интеллектов человека и компьютера.

Как это уже начали делать, будет рассказано в 5ом посте постосериала «ЦРУ создает кентавров для предсказания будущего».

_________________________

Предыдущие посты постосериала:

Пост №1 https://goo.gl/2AemSJ

Пост №2 https://goo.gl/9J2321

Пост №3 https://goo.gl/4Y1Kp1

_________________________

Хотите читать подобные публикации? Подписывайтесь на мой канал вТелеграме, Medium, Яндекс-Дзене

Считаете, что это стоит прочесть и другим? Дайте им об этом знать, кликнув на иконку “понравилось”

Written by

Малоизвестное интересное на стыке науки, технологий, бизнеса и общества - содержательные рассказы, анализ и аннотации

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store