Алгоритм апокалипсиса прост и уже написан
Но мир предпочитает думать, что это не так
В вопросах оценки рисков ИИ, взрослые дяди — политики, военные, ученые, инженеры, — уподобляются детям, играющим со спичками на пороховом складе.
Причина этого в нежелании признать два очевидных факта.
- Главный источник рисков, связанных с ИИ, — вовсе не СОИИ (сверхчеловеческий общий искусственный интеллект), а СУИИ (сверхчеловеческий узкий искусственный интеллект).
- Создание СОИИ, может, и случится когда-то, а СУИИ уже существует.
Для верной оценки риска здесь необходимо байесовское рассуждение.
Если обе гипотезы A и B предполагают апокалипсис, но при этом A подразумевает B, то
- более вероятно, что B вызывает апокалипсис,
- чем то, что к апокалипсису приведет А.
СОИИ подразумевает существование СУИИ. Т.е. A = СОИИ, а B = СУИИ.
Итого: наиболее приоритетным является минимизация рисков варианта СУИИ.
Алгоритм апокалипсиса варианта СУИИ известен. Самый простой его вариант может быть таким:
- сканируйте Интернет на наличие незащищенных систем;
- взломайте их;
- к чему бы вы ни получили доступ, держите это в заложниках, требуя денег;
- потратьте эти деньги на увеличение доступной вам вычислительной мощности;
- повторить с п. 1.
Есть и другие варианты. Например, не напрямую через деньги, а через насилие, позволяющее получить деньги. Есть и еще …
Резюмирую.
✔️ Проблема не в ИИ, который создается во благо, но, выйдя из-под контроля создателей, начинает творить зло.
✔️ Когда есть способ получить много денег, люди сами создадут ИИ, предназначенный для зла, но при этом позволяющий реализовать нужный способ получения денег.
Что же делать?
В общем, понятно что.
Ключевой задачей должно стать создание не «безопасного СОИИ», а повышение безопасности систем, взлом которых «обычным СУИИ» может вызвать катастрофу: нужны невзламываемые системы запуска ракет, крипто-кошельки, IT-системы больниц …
Подробней см. в оригинале — воззвании Кевина Лакера Thoughts On AI Risk
________________________
Ваши шансы увидеть мои новые посты быстро уменьшатся до нуля, если вы не лайкаете, не комментируете и не делитесь в соцсетях.
