DeepMind предложил переход от демократии к ИИкратии

Image for post
Image for post
Схематическая иллюстрация настройки моделирования вознаграждения при обучении ИИ. Источник: https://arxiv.org/pdf/1811.07871.pdf

Суть предложения в следующем.
➤ Хотите вы этого или нет, но системы ИИ будут внедряться все шире и довольно скоро будут контролировать и управлять очень многими аспектами нашей жизни и деятельности.
➤ Чтобы на 100% не отдаваться на волю ИИ, пока что есть только один способ — влиять на его обучение (когда он уже научился чему-либо, влезть в его мозги, чтоб повлиять на его решения, пока не удается).
➤ Если учить ИИ будут только его «хозяева», все риски упрутся в их мотивацию, честность, порядочность, да и просто разум.
➤ Значит нельзя полагаться только на ИИ и его «хозяев», а нужно обеспечить для максимального числа людей возможность участия в обучении ИИ.

В результате должно получиться что-то типа современного демократического устройства общества.
• Гражданами рулит власть: президент, правительство … — короче, т.н. элита.
• Но граждане при демократии способны влиять на «формирование мозгов власти» путем участия в выборах.
• При иикратии же граждане должны быть способны влиять на «формирование мозгов ИИ» путем участия в его обучении.

Добиться максимального «расширения прав и возможностей людей» при обучении и развитии ИИ DeepMind предлагает путем особого формирования функций вознаграждения при глубоком обучении с подкреплением — Deep Reinforcement Learning.

Возможно ли так увязать общество со все более мощными системами ИИ путем глубокой интеграции ширнармасс в обучение и развитие систем ИИ — большой вопрос.

Но самое забавное, что решение, идти ли таким путем или нет, будут зависеть не от нас с вами и даже не от Google и прочих китов технологий, а от демократических институтов, избранных при аналогичном подходе.

Так что, если не заменить демократию на что-то иное, есть все шансы, что через десяток-другой лет она переродится в ИИкратию.

Работа DeepMind — Scalable agent alignment via reward modeling: a research direction

________________________________

Если вам понравился этот пост — не забудьте:

- нажать “палец вверх”;

- подписаться на обновления канала на платформе Medium;

- оставить комментарий.

Еще больше материалов на моем Телеграм канале «Малоизвестное интересное». Подпишитесь

Written by

Малоизвестное интересное на стыке науки, технологий, бизнеса и общества - содержательные рассказы, анализ и аннотации

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store