С ИИ происходит что-то странное и потенциально крайне опасное

Эксперты перестали моделировать ситуацию в области ИИ

Еще древние ассирийцы полагали: «Если двое говорят, что ты пьян, — ложись спать». Если к тому же эти двое — признанные эксперты в области, о которой идет речь, и оба они бьют тревогу, — то, определенно, стоит к ним прислушаться.

Макс Тегмарк и Джек Кларк — эксперты-тяжеловесы в области ИИ. И оба, не сговариваясь, бьют тревогу из-за того, что за последний год в развитии ИИ произошел некий тревожный перелом:

• ИИ начал прогрессировать непредсказуемыми темпами;

• специалисты перестали понимать, куда это может привести даже в самом ближайшем будущем.

На этой неделе Макс Тегмарк почти 3 часа говорил об этом в подкасте «80,000 Hours».

Лейтмотив рассказа таков.

«Честно говоря, сценарий, в котором мы сейчас живем, мне видится наихудшим. Это тот сценарий, который, как я надеялся, не произойдет. Я надеялся совсем на другой сценарий, — что развитие ИИ до нынешнего уровня будет куда труднее, и это займет куда больше времени. А у нас, соответственно, будет куда больше времени, чтобы заняться безопасностью ИИ».

Макс приводит простой пример.

Всего 7 лет назад практически никто из экспертов не мог вообразить, что в 2022 ИИ будет в состоянии правильно ответить на такой вопрос:

«Я собираюсь пойти на гору с лицами на ней. Какая столица штата к востоку от того штата, в котором она находится?»

А сегодня каждый из нас может:

1. Спросить у смартфона с поисковиком: «гора с лицами», и получить ответ «гора Рашмор»

2. Спросить — «гора Рашмор штат», и услышать «Южная Дакота»

3. Спросить — «штат на востоке от Южная Дакота», и услышать «Миннесота»

4. Спросить — «столица Миннесота», и услышать «Сент-Пол»

Но это, увы, далеко не весь прогресс.

ИИ уровня GPT-3 не надо задавать эти 4 (и вообще, какие либо) наводящие вопросы.

Ибо ИИ, услыхав вопрос «Я собираюсь пойти …», сразу даст ответ «Сент-Пол».

Кто-то скажет, — это не понимание, а статистика. И будет прав.

Но если прогресс продолжится с той же скоростью, на что будут способна такая статистика уже через пару лет?

И об этом на неделе Джек Кларк говорил на рабочей группе National Academy по ИИ (слушания закрытые, но вот слайды).

Смотрите на картинку А к этому посту — наши оценочные тесты способностей ИИ уже не годятся, или ИИ уже вышел за пределы ожиданий?

Показана динамика 6-и популярных бенчмарков, нормализованных от -1 (начальный показатель бенчмарка) до 1 (уровень человека-эксперта)

Теперь картинка B — мы не может предсказать способность ИИ даже на год вперед.

Показан прогноз прогнозистов Hypermind (июнь 2021) способностей ИИ на 30 июня 2022, 2023, 2024 и 2025 по 4 тестам:

• MATH — решение математических задач
• MMLU — тест на знание специальных предметов с использованием экзаменов средней школы, колледжа и профессиональных экзаменов с множественным выбором
• Something Something v2 — распознавания видео
• Надежная точность CIFAR-10 — мера надежной защиты от злоумышленников.

Зеленый пунктир — уровень человека-эксперта.

А теперь приз в студию:

синяя и желтая точки, расположенные выше прогнозных показателей 2022, это уже не прогноз, а факт.

Джек спрашивает:

• Что здесь происходит?
• Какие силы движут этим?
• Что означает сочетание плохих тестов и плохих прогнозов для будущего?
• В каких других областях науки прогресс неоднократно превосходил ожидания?
• Где будут эти точки по факту в 2025?

Нет ответов. И это потенциально крайне опасно.

________________________

Ваши шансы увидеть мои новые посты быстро уменьшатся до нуля, если вы не лайкаете, не комментируете и не делитесь в соцсетях