Что сулит планируемый Китаем 30-тикратный отрыв от США в ИИ?

Все медиа мира взахлеб обсуждают новую языковую модель PaLM от Google. Эта супергигантская ИИ-система обучалась на 540 миллиардов параметров (втрое больше, чем у знаменитой GPT-3), за счет чего удалось совершить очередной прорыв в качестве обработки языка.

Система PaLM способна рассуждать, применяя арифметическое и логическое мышление.

Она на раз-два решает задачи типа:

«У Роджера 5 теннисных мячей. Он покупает еще 2 упаковки мячей. В каждой упаковке по 3 мяча. Сколько теннисных мячей теперь у Роджера?»

PaLM умеет объяснять

Например, шутку:

«Я собирался лететь в гости к семье 6 апреля. Но мама сказала, что у отчима поэтические чтения в этот вечер, и я решил лететь 7го»

PaLM объясняет так:

«Шутка в том, что мать говорящего пытается уговорить его пойти на поэтические чтения отчима, но говорящий не хочет идти, и поэтому он меняет свой рейс на следующий день после поэтических чтений».

PaLM выстраивает цепочки рассуждений.

Например, систему спрашивают:

«Дженни смотрит в окно и видит под собой очень красивое облако. Она отстегивает ремень безопасности и направляется в туалет. Возможно ли, что Дженнифер движется со скоростью более 300 миль в час относительно Земли?»

Цепочка рассуждений PaLM:

«300 миль в час — это около 480 км/ч. Это, примерно, скорость коммерческого самолёта. Облака обычно находятся ниже самолётов, поэтому Дженнифер, вероятно, летит на самолёте»

Следовательно, ответ «Да».

А теперь внимание

✔️ ИИ системы PaLM умеет все вышеупомянутое (и много больше) используя в языковой модели для предварительного обучения

до 540 млрд параметров.

✔️ ИИ-платформу BaGuaLu — совместную разработку Университета Цинхуа, Alibaba Group, Zhejiang Lab и Пекинской академии искусственного интеллекта:

уже обучают на 2-х триллионах параметров; до конца года планируют довести до 14,5 трлн, а потом и до 174 трлн параметров.

Это значит, что уже до конца года у Китая может появиться отрыв в мощности языковых моделей от США в несколько десятков раз.

Ну а что будут уметь столь огромные модели с числом параметров, превосходящим число синапсов в человеческом мозге, мы не знаем. Но это может оказаться для человечества большим откровением.

Подробней см. презентацию BaGuaLu, сделанную на PPoPP несколько дней назад

Побробней см. описание BaGuaLu в ACM

________________________

Ваши шансы увидеть мои новые посты быстро уменьшатся до нуля, если вы не лайкаете, не комментируете и не делитесь в соцсетях