ИИ превращается в ящик Пандоры с неисчислимой стаей Черных лебедей внутри

Два жутких отчета о рисках «злонамеренного ИИ», снизить которые может лишь институциональная защита

Обобщить выводы двух новых отчетов авторитетных исследовательских организаций, можно примерно так.

1 Масштабирование (увеличение размера) больших генеративных моделей ИИ (также называемых «базисные модели) — типа CLIP, Ernie 3.0 Titan, FLAN, Gopher, GPT-3, HyperClova, Jurassic-1-Jumbo, Megatron Turing NLG, LaMDA, Pan Gu, Yuan 1.0 и пр.), — неостановимо.
(1) Этот путь уже доказал свою эффективность для решения все более сложных задач.
(2) Он экономически выгодней любых иных путей.
Т.о. используемые в ИИ размеры моделей будут неуклонно расти.

2 Последствием роста больших генеративных моделей ИИ является непредсказуемость рисков его применения. С увеличением размера моделей ИИ буквально превращается в ящик Пандоры, в котором обитает неисчислимое множество Черных лебедей — серьёзных, «злонамеренных» последствий действий ИИ, которые заранее невозможно предсказать.

Например:

— ИИ самоуправляемого авто может начать максимизировать безопасность своих пассажиров за счет снижения безопасности пассажиров чужих авто

— ИИ, управляющий балансировкой нагрузки электросетей, может максимизировать удовлетворение потребностей одного класса потребителей за счет другого.
N.B. Кавычки означают, что никаких намерений у ИИ конечно нет, а «злонамеренность» получается просто по факту.

3 Поскольку предсказать Черных лебедей «злонамеренности» ИИ невозможно, остается лишь строить универсальную систему защиты, способную понизить потенциальный урон.

4 Цивилизация придумала лишь две универсальные системы защиты от злонамеренных действий интеллектуальных агентов (людей): мораль и закон.

• Мораль в случае ИИ не подходит, ибо это не живой продукт эволюции, а машина, у которой нет базы для существования морали.
• А вот система регулирующих ИИ законов, устанавливаемых соответствующими институтами, а другими институтами контролируемая, — может помочь.

5 В частности, для регулирования самого перспективного из существующих ИИ — систем на основе обучения с подкреплением (Reinforcement Learning), — необходимо срочно создать институт нормативных «отчетов о вознаграждениях». Эти отчеты для ИИ-агентов будут подобны комбинации отчетов, существующих у людей — типа интеграции финансовой декларации человека с его психометрической оценкой и личным делом.

6 Забить на ящик Пандоры с Черными лебедями для человечества себе дороже.

• Системы обучения с подкреплением будут действовать на все более длительных временных горизонтах, принимая все более независимые решения, напрямую манипулируя реальностью и меняя ее в соответствии со своими неизвестными людям критериями.
• ИИ-системы глубокого обучения — это «усилители культуры», которые повторяют и усиливают когнитивные искажения, мемы и идеологию людей, в скрытой форме содержащиеся в наборах данных, на которых ИИ обучался. Но поскольку эффект масштабирования ИИ несоизмеримо сильнее даже самых влиятельных лидеров мнений, интеллектуальная слепота, предвзятость и зашоренность людей будут катастрофически расти.

Первый отчет Predictability and Surprise in Large Generative Models опубликовала компания Anthropic, являющейся на сегодня лидером в исследованиях потенциала и рисков масштабирования ИИ.

Второй отчет Choices, Risks, and Reward Reports: Charting Public Policy for Reinforcement Learning Systems выпущен CLTC (Центр долгосрочной кибербезопасности Беркли).

О рисках базисных моделей также см. мой пост.

________________________

Ваши шансы увидеть мои новые посты быстро уменьшатся до нуля, если вы не лайкаете, не комментируете и не делитесь в соцсетях