Обезьянья лапа прорывных технологий
Соцсети мы от нее уже получили. На очереди Сильный ИИ
B знаменитом рассказе Джейкобса «Обезьянья лапа», мумифицированная лапа обезьяны, на которую наложено заклятье, выполняла любые желания, но с чудовищными последствиями для пожелавших. Для людей подобные последствия были просто невообразимы из-за их чудовищной бесчеловечностии, немыслимой для человека.
Но у прОклятой старым факиром обезьяньей лапы была иная — нечеловеческая структура предпочтений. И потому, выполняя желания людей, она вовсе не со зла, а просто автоматом, преподносила людям страшные сюрпризы, выходящие за пределы воображения имевших несчастье обратиться к ней с просьбой.
Но причем здесь прорывные технологии?
Bедь общеизвестно, что сами по себе новые технологии не являются воплощением добра или зла. И что лишь от людей зависит, во благо или во зло будет использована та или иная технология.
Все так. Но увы, — этот подход устарел. Он не учитывает третьего варианта, становящегося все более частым из-за нарастающего усложнения технологий, особенно, информационных.
Когда результат распространения прорывной технологии — и не зло, и не добро. А просто совсем иной, чем предполагался.
Когда комплекс последствий распространения технологии столь широк и непредсказуем заранее, что главным по силе воздействия на миллионы людей результатом использования технологии становится совсем не то, что задумывалось, а то, чего вовсе не предполагали. Подобно тому, как это получалось у обезьяньей лапы.
Эффект обезьяньей лапы и социальные сети.
Pазработчики алгоритмов социальных сетей имели благую цель объединять людей, находя им новых друзей, помогая им общаться и совместно обсуждать интересующие темы, вопросы и события.
На пути к этой замечательной цели, разработчики решили, что хорошо было бы повысить вовлеченность людей в процесс взаимодействия с сетевым контентом. Для этого алгоритмы выбора контента работали так, чтобы показывать нам материал или рекомендовать его, таким образом, чтобы максимизировать наши клики — нажатия на кнопку мыши (потому что это ровно то, что приносит доход платформам социальных сетей). В результате алгоритмы показывают нам контент, на который мы, скорее всего, кликнем.
Казалось бы, что это относительно безвредно.
Но в результате этого в соцсети возникают пузыри фильтрации и эхо-камеры, где мы видим только то, что нам нравится, и не видим почти ничего за пределами своей зоны комфорта.
Хуже того. Это только нам кажется, что алгоритмы пытаются показать нам то, что нам нравится. На самом деле, они пытаются превратить нас в максимально предсказуемых кликеров. Они как бы понимают, что могут сделать это, постепенно изменяя наши предпочтения. И делают это.
В результате, эти алгоритмы постепенно перемещают каждого из нас по шкале собственных предпочтений, к тому или другому полюсу, чтобы довести нас до одной из двух крайностей: на крайности политического спектра или экологического, или любого другого. Но на самый край.
В итоге, мы становимся максимально предсказуемыми кликерами ценою максимизации раскола между участниками соцсети.
И это всего лишь следствие алгоритмов обучения с подкреплением, которые оптимизируют переход по кликам.
Оглядываясь назад, мы теперь понимаем.
Оптимизация переходов по ссылкам была ошибкой. Это была неправильная цель.
Точнее, цель, сформулированная без учета общей структуры предпочтений тех, кто эту цель ставил. Ведь мы не хотим раскола. Нам не нужен срач между френдами. Нас не устраивает сооружение вокруг нас пузырей и запертых от иных мнений эхо-камер.
Но поздно! Теперь уже слишком поздно это изменить. И потому все продолжается без изменений.
Мы не можем отключить эти системы, потому что они уже тесно связаны с нашей повседневной жизнью и существуют практически непреодолимые экономические стимулы, чтобы ничего здесь не менять.
Хорошо. Допустим с социальными сетями поезд ушел (хотя чего уж тут хорошего!)
Что будет, если с Сильным ИИ снова повторится история обезьяньей лапы?
Скорее всего, цена новой ошибки может оказаться для человечества неподъемной.
Эффект обезьяньей лапы и Сильный ИИ
Tакие пионеры ИИ, как Алан Тьюринг, Джон фон Нейман и Норберт Винер, четко осознавали проблему выравнивания ценностей разных интеллектов: людей и машин. В противоположность им, последующие поколения исследователей ИИ имели тенденцию забывать об этой проблеме, как только появлялись работающие приложения, открывающие возможности для бизнеса.
Аптон Синклер однажды сказал:
«Трудно заставить человека понять что-то, когда его зарплата зависит от того, что он этого не понимает».
И поэтому неудивительно, что сегодняшние эксперты по ИИ в бизнесе менее склонны озадачиваться проблемой выравнивания ценностей разных интеллектов, чем такие ученые, как Тьюринг, фон Нейман, Винер, а теперь и Рассел.
В своей только что вышедшей книге «Human Compatible: Artificial Intelligence and the Problem of Control» Стюарт Рассел бьет тревогу.
Если исследования ИИ преуспеют в своей первоначальной цели построения ИИ общего назначения (AGI), то может повториться страшная ошибка, уже случившаяся с широким распространением технологии социальных сетей. Но теперь цена новой ошибки может оказаться для человечества неподъемной.
Попробуем проследить логику этого страшного прогноза.
Сначала аксиома: одинаковое понимание цели ее постановщиком и исполнителем (которому придется эту цель достигать своими действиями) возможно лишь при условии выравнивания ценностей между ними. Для этого они, как минимум, должны понимать общую структура предпочтений друг друга.
Например, вы просите кого-нибудь принести вам кофе. Но это вовсе не значит, что ваш порученец должны добыть для вас кофе любой ценой. Это значит, что вы хотели бы получить кофе, но выполняя вашу просьбу, не надо для этого никого убивать, да и просто наносить кому-то вред чтобы получить кофе. Не нужно опустошать ваш банковский счет. Не нужно далеко ехать на такси, если рядом кофе почему-то не окажется … и еще 1000 разных «не нужно», которые просто невозможно все перечислить. Их должен сам знать ваш порученец, вследствие того, что он понимает вашу общую структура предпочтений.
А без этого понимания, ваш порученец может запросто выполнить задание примерно так же, как обезьянья лапа из рассказа Джейкобса. Ведь даже в элементарном примере про кофе без понимания вашей общей структуры предпочтений порученцу не обойтись. А что говорить для действительно сложных задач!
И тут мы сталкиваемся с поразительным откровением.
Похоже, мы неправильно определили, что такое Сильный ИИ.
В общепринятом понимании Сильный ИИ способен справиться с любой познавательной задачей по крайней мере не хуже, чем человек. И если мы поставили перед ИИ некую познавательную цель, то будем считать его разумным, если его действия достигают поставленной цели.
А как оценить, например, вариант, когда порученец-ИИ достиг поставленной перед ним цели и принес-таки вам кофе, но ценой нанесения материального ущерба кофейне?
Зададимся вопросом, — почему вообще такое могло бы произойти?
Ответ лежит на поверхности. Мы предполагали, что машина точно знает поставленную нами цель, а оказалось, что она обладает несовершенным или частичным знанием цели (ведь про ущерб кофейне мы ей ничего не говорили).
Описанная ситуация — пример того, что Стюарт Рассел называет «стандартная модель ИИ». Она состоит в том, чтобы поставить системе машинного обучения цель, а затем обучить ее, используя большое количество данных, добиваться как можно большего успеха в достижении этой цели. Такова общепринятая модель большинства сегодняшний разработок.
Риски использования «стандартной модели» невозможно оценить, поскольку системы с неправильной или с частично понятой целью могут порождать произвольно плохие последствия.
Но возможно ли в принципе заложить в машину общую структуру человеческих предпочтений, позволяющую ей избегать при достижении поставленных перед ней целей вариантов, сулящих плохие последствия в общечеловеческом понимании?
Скорее всего, нет.
Причина в том, что, во-первых, — всего не перечислишь.
А во-вторых, — люди и не знают всего о собственной структуре предпочтений, хотя бы, из-за ограниченности своего опыта. Как мы можем точно знать, хорошо для нас нечто или плохо, если мы этого еще не пробовали?
В своей книге Стюарт Рассел приводит пример плода дуриана, который некоторым людям очень нравится, а некоторые находят его отвратительным. Как узнать свое отношение к плоду дуриана, если я никогда его не пробовал? А сколько еще я не знаю, не сталкивался не пробовал. Откуда же взяться полноте в моей структуре предпочтений?
Получается, куда ни кинь — всюду клин. Опять натыкаемся на обезьянью лапу.
Нестандартная модель ИИ
and Honorary Fellow, Wadham College, Oxford
Уникальность новой книги Стюарта Рассела «Human Compatible: Artificial Intelligence and the Problem of Control» в том, что он не просто описывает в деталях вышеизложенную проблему «стандартной модели ИИ».
В книге предлагается конкретное и многообещающее решение этой супер-важной проблемы.
И это не просто общие лозунги об ответственности политиков или призывы что-то запретить, а умное техническое решение, которое переопределяет саму основу машинного обучения. Рассел в деталях объясняет свое решение в книге, и поэтому я лишь сформулирую его суть.
Радикальное решение состоит в том, чтобы полностью отказаться от «стандартной модели» для достаточно мощных ИИ-систем, обучая их достигать не фиксированную цель, которую перед ними поставили, а «вашу истинную цель», которая, возможно, сформулирована в начале работы весьма неполно, а может, и вообще неверно.
Это решение основано на методике, известной под названием «Обратное обучение с подкреплением» (“Inverse Reinforcement Learning” — IRL). ИИ-система, работающая по методике IRL, не имеет никакой функции награды. Т.к. она не может быть уверена, что полностью поняла ваши цели, она будет активно пытаться узнать больше о том, что вы действительно хотите, и при этом всегда будет открыта для вас, позволяя переориентировать себя или даже вообще выключить.
Как написал про эту идею Макс Тегмарк:
«Во многом благодаря Расселу, IRL в настоящее время является цветущей областью исследований ИИ, и если эта книга побудит больше людей использовать ее в критически важных для безопасности системах, то это, несомненно, увеличит вероятность того, что наше высокотехнологичное будущее будет счастливым»
А мне остается лишь присоединиться к сказанному Тегмарком.
Подробней:
- В книге Стюарта Рассела «Human Compatible: Artificial Intelligence and the Problem of Control»
- И в его подкасте на эту тему
________________________________
Если понравился пост:
- нажмите на “палец вверх”;
- подпишитесь на обновления канала на платформе Medium;
- оставьте комментарий.
Еще больше материалов на моем Телеграм канале «Малоизвестное интересное». Подпишитесь
