«Эффект обезьяньей лапы» искусственного интеллекта

Image for post
Image for post

Этот эффект отсылает нас к знаменитому рассказу Уильяма Джекобса «Обезьянья лапа».

Некий владелец высушенной обезьяньей лапы получает магическое право на исполнение ею трех его желаний. Его первое желание (для проверки — работает ли) — хочу 200 фунтов стерлингов. Стук в дверь. Там служащий завода, где работает сын. Он сообщает, что сын погиб — его раздавило заводским молотом, и отцу причитается страховка за сына — 200 фунтов стерлингов. Потрясенный отец бросается к обезьяньей лапе и кричит: «Хочу, чтобы мой сын ожил!». Снова стук в дверь. Там стоит призрак расплющенного молотом сына. В ужасе несчастный владелец лапы молит, чтоб призрак исчез…
Три желания выполнены точно в соответствии сформулированным требованиям.

Со времен рассказа, подобного рода последствия получили название «эффект обезьяньей лапы». Его суть в следующем.

Наряду с желаемым положительным результатом, желания и действия, направленные на их осуществление, неотвратимо влекут за собой сопутствующие последствия, ущерб от которых:

- может быть непредсказуем;

- может превосходить положительный результат и обесценивать его.

Вот реальный пример «обезьяньей лапы» ИИ.

Всех поражает и все восторгаются, что ИИ не просто обыгрывает чемпионов (шахматы, го, компьютерные игры …), но делает это с применением нечеловеческих стратегий, просто не приходящих людям в голову.

Вот к чему это может вести.

Исследователи натренировали ИИ играть в компьютерную игру CoastRunners — нужно выиграть гонку на катерах, получая очки за сбитые препятствия. Обученный играть ИИ на 20% превзошел лучший из результатов, достигнутых в этой игре людьми. Однако!

ИИ в ходе обучения ухитрился найти лазейку — немыслимую для людей стратегию, основанную на недоработке алгоритма игры (как известно, нетривиальных программ без ошибок не бывает). Найденная ИИ стратегия заставляет катер просто плавать по кругу, сшибая одни и те же 3 препятствия. Результат — сногсшибательно высокое число набираемых очков и выигрыш.

Image for post
Image for post
см. видео

Вы спросите, а как же задача опередить всех и добраться до финиша? А никак. Оказалось, из-за недоработки в алгоритме, можно без этого обойтись и выиграть чисто на набранных очках.

Но кто знал то про такой способ выигрыша?

Люди — не знали. А «обезьянья лапа» ИИ прознала про это в момент.

Предоставляю вам самостоятельно перенести этот кейс на любое из возможных промышленных применений ИИ, где ему ставится цель оптимизации чего-либо (потраченных денег или топлива) или достижения конечного результата (например, действия лекарства)…

Наши пожелания ИИ, несомненно, выполнит.

Но кто может предсказать последствия «эффекта обезьяньей лапы» ИИ?

И как вообще учитывать весь спектр последствий при проектировании ИИ систем?

Об этом (для продвинутых в вопросе) новое эссе от DeepMind Safety Research.

Его суть:

– как просто создаются чрезвычайно опасные ИИ приложения, последствия применения которых не прогнозируемы;

– как трудно и важно этого избежать;

– что конкретно с этим делать.

_________________________

Хотите читать подобные публикации? Подписывайтесь на мой канал в Телеграме, Medium, Яндекс-Дзене

Считаете, что это стоит прочесть и другим? Дайте им об этом знать, кликнув на иконку “понравилось”

Written by

Малоизвестное интересное на стыке науки, технологий, бизнеса и общества - содержательные рассказы, анализ и аннотации

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store