Зомбирование нейросетей уже возможно

Image for post
Image for post

В феврале исследователи из Google Brain опубликовали работу, из которой следовало, что:

— состязательную нейронную сеть для распознавания образов можно запросто хакнуть и заставить видеть совсем не то, что ей показывают, например, собаку вместо кошки;

— похожим образом можно хакнуть и зрительное восприятие человека.

Та статья звучала страшновато. Однако новая статья исследователей из Google Brain — вообще жуть.

Дальнейшие исследования показали:

✔️ Нейронные сети распознавания образов запросто можно так хакнуть, что они не просто будут видеть ложные изображения, а станут выполнять иные, совершенно левые функции.

Без преувеличений можно сказать, что это способ зомбирования нейросетей — превращение их в послушного исполнителя чужой воли.

Это значит, что хакеры, например, могут:

— перепрограммировать классификатор компьютерного зрения в облачной службе фотографий с тем, чтобы начать воровать вычислительные ресурсы, скажем, для майнинга криптовалюты;

— или перепрограммировать любой смартфон, использующий нейросети для функций цифрового помощника и тем самым получить доступ к почте, паролям, кредиткам …

Авторы пока точно не выяснили, какие конкретно задачи злоумышленники смогут заставить выполнять зомбируемые нейронные сети. Однако, как они пишут, успешная атака может побудить их выполнять «очень большой набор задач».

И еще одна гордая по тону и убийственная по сути цитата:

«Наши результаты впервые демонстрируют возможность … состязательных атак, направленных на перепрограммирование нейронных сетей … Эти результаты демонстрируют как удивительную гибкость, так и удивительную уязвимость в глубоких нейронных сетях».

В общем, приехали!

Авторы успокаивают. Мол, рандомные сети (random neural networks) так просто не хакнешь, как состязательные. Но тут же признают, что с тотальной уязвимостью состязательных нейронных сетей придется разбираться ох как серьезно.

Ведь этот тип сетей повсюду: от дизайна до Facebook.

_________________________

Хотите читать подобные публикации? Подписывайтесь на мой канал вТелеграме, Medium, Яндекс-Дзене

Считаете, что это стоит прочесть и другим? Дайте им об этом знать, кликнув на иконку “понравилось”

Written by

Малоизвестное интересное на стыке науки, технологий, бизнеса и общества - содержательные рассказы, анализ и аннотации

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store