Китайский генеративный ИИ вырывается вперед

Он уже способен обобщать романы, размером с «Анну Каренину» (хотя пока не дотягивает до «Войны и мира»)

Споры о понимании больших сложных текстов моделями генеративного ИИ легко разрешаются на практике. Достаточно попросить модель обобщить какой-либо из больших сложных текстов, который вы загрузите в неё. И сравнить результат с обобщением, сделанным вами самостоятельно, используя исключительно ваш собственный интеллект.

Главное ограничение современных моделей при решении таких задач — размер текста, который ей нужно обобщить.

Дело в том, что понимание текста определяется не только самим текстом — содержащихся в нем отдельных слов и фраз, — но и из контекста, в котором эти слова и фразы используются. И если интеллект (искусственный или человеческий) не может при обобщении сопоставить написанное на 1й и на 300й страницах текста, то хорошего обобщения не получится.

• Люди так могут. Наше «контекстное окно» огромно. Мы можем прочесть 10 томов эпопеи «Красное колесо» Солженицына и обобщить их всего на одной странице.
• Однако, даже самая продвинутая из американских моделей Claude 2 от Anthropic имеет «контекстное окно» размером 100 тыс токенов — это примерно 75 тыс слов. Следовательно, обобщить текст размером с роман Толстого «Анна Каренина» она не в состоянии.

А вот объявленная вчера новая большая языковая модель Baichuan2–192k от китайского стартапа Baichuan имеет «контекстное окно» около 350 тыс иероглифов. И это, примерно равно длине перевода романа «Анна Каренина» на китайский.

До размеров «Войны и мира» (на китайском это, примерно, 560 тыс иероглифов) модель пока не дотягивает. Но, тем не менее, Anthropic и OpenAI, не говоря уж о Google и Microsoft, наверняка, крепко озадачились. Ведь если и дальше так пойдет, смогут ли экспортные ограничения на микрочипы сдержать спурт китайских стартапов?

Может статься ведь, что не «железом» единым куется победа в гонке генеративного ИИ.

Подробней здесь.

________________________________

Ваши шансы увидеть мои новые посты быстро уменьшатся до нуля, если вы не лайкаете, не комментируете и не делитесь в соцсетях