Первый практический гайд, как всем нам не подорваться на ИИ-рисках

Воспользуется ли им человечество? — большой вопрос

По мнению значительной доли экспертов, ИИ лет через 5–10 может стать сверхумным. И тогда он вполне мог бы решить многие самые животрепещущие проблемы человечества — от рака и продления жизни до кардинального решения проблемы продовольствия и энергии.

Мог бы … если человечество не угробит себя раньше, — получив в свои руки пусть не сверхумный, но сильно умный ИИ.

Как же человечеству дожить до сверхумного ИИ, да еще сделать его другом людей, а не врагом?

По идее, нужно:

1. найти способ определения «степени ума» разрабатываемых типов ИИ-систем
2. и научиться для каждого типа ИИ ставить ограждения его возможностей, способные:
   — не позволить самому ИИ выйти за эти заграждения;
   — не дать злоумышленникам (или идиотам) воспользоваться ИИ во вред людям.

Первая в истории попытка сделать это предпринята компанией Anthropic — одним из сегодняшних лидеров гонки к сверхумному ИИ, опубликовавшей свою «Политику ответственного масштабирования ИИ».

В документе описаны 4 уровня безопасности ИИ» (ASL):

• ASL-1 уровень относится к системам, не представляющим значимого риска: например, LLM 2018 года или ИИ, играющая только в шахматы.
• ASL-2 относится к системам, которые проявляют ранние признаки опасных возможностей (например, способность давать инструкции того, как создавать биологическое оружие), но их информация пока довольно бесполезна из-за недостаточной её надежности и того, что её, принципе, можно и самому найти с помощью поисковика. Нынешние LLM, включая GPT-4 и Claude, похоже, имеют этот уровень.
• ASL-3 относится к системам, которые существенно увеличивают риск катастрофического неправильного использования по сравнению с базовыми системами, не связанными с ИИ (например, с поисковыми системами), ИЛИ которые демонстрируют автономные возможности низкого уровня.
• Уровень ASL-4 и выше (ASL-5+) еще не определен, поскольку он слишком далек от нынешних систем, но, вероятно, повлечет за собой качественное увеличение потенциала катастрофического злоупотребления и автономии.

Далее в документе описываются способы «огораживания» каждого из типов ИИ собственной системой ограждений — от него самого и, главное, от злоумышленников и идиотов.

________________________________

Ваши шансы увидеть мои новые посты быстро уменьшатся до нуля, если вы не лайкаете, не комментируете и не делитесь в соцсетях