Последнее решение «бить или не бить» навсегда должно остаться за людьми

Революция в ИИ-революции начинается с попыток заменить «черный ящик» на «стеклянный»

Image for post
Image for post

COO DeepMind Лила Ибрахим в пятничном групповом интервью «пятерки посвященных» о самом важном в современном развитии ИИ сказала: критически важно, чтобы ИИ системы объясняли, как она принимают решения.

За этим признанием стоит позиция Гугла, от которого направление развития ИИ зависит, как от никого другого. И значит теперь есть шанс, что революция в ИИ-революции начинается.

Ведь 1е прорывное ИИ решение DeepMind, способное объяснять принимаемые решения уже создано. Это медицинский ИИ, разработанный DeepMind совместно с лондонской клиникой Moorfields Eye и Университетским колледжем Лондона, для подбора лечения при 50+ заболеваний глаз.

Нужно понимать, что все ИИ разработки, основанные на глубоком обучении (а это практически все прорывные решения в современном ИИ) — это наихудший путь с т.з. объяснений, почему ИИ принимает это решение, а не другое. Вот иллюстрация того, что среди разных методов реализации ИИ, глубокое обучение — лучше всех по точности прогнозов и хуже всех по возможности объяснить свои прогнозы.

Image for post
Image for post

Эта необъяснимость решения современных ИИ называется проблемой «черного ящика»

Я начал писать на своем канале про этот важнейший для ИИ вызов с момента его создания. Писал уже о многом:

- о «Проекте объяснимого ИИ» — XAI, начатом DARPA в 2016;

- о «черной метке черным ящикам», полученной от госсектора США;

- о нарастающих здесь рисках

- и даже о литературной интерпретации этого вызова Пелевиным.

Но сейчас с приоритезацией этого вызова DeepMind, ситуация в корне меняется.

Неделю назад на ‘2018 International Explainable AI Symposium’ Дэвид Ганнин — руководитель DARPA’вского проекта XAI — рассказал, что в мае исследователи XAI уже продемонстрировали раннюю модель системы объяснительного обучения, а в ноябре будет озвучена оценка результатов 1й фазы проекта.

Решением этого вызова фокусно занимается не только DARPA. Новейшие и уникальные доки по этому вопросу желающие найдут на ресурсах:

Однако, самым важным в исследованиях названных выше центров стало открытие новыго колоссального вызова:

Объяснимый ИИ не решает всех проблем — нужен ИИ в формате «стеклянного ящика», т.е. НЕ САМ объясняющий себя людям, а дающий возможность людям видеть его насквозь, самостоятельно постигая смысл и логику его решений и рекомендаций.

Причина этого оказалась в том, что, пользуясь людской ограниченностью и зашоренностью, ИИ в состоянии так «объяснить» свои решения, что люди не смогут увидеть «разводку» со стороны ИИ.

И это значит, что последнее решение «бить или не бить» навсегда должно остаться за людьми.

Image for post
Image for post

Подробней об этом здесь

_________________________

Хотите читать подобные публикации? Подписывайтесь на мой канал в Телеграме, Medium, Яндекс-Дзене

Считаете, что это стоит прочесть и другим? Дайте им об этом знать, кликнув на иконку “понравилось”

Малоизвестное интересное на стыке науки, технологий, бизнеса и общества - содержательные рассказы, анализ и аннотации

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store