Как ChatGPT и Ernie Bot оценили решение папы и мамы пожениться

Наконец-то прояснилась степень отставания Китая от США в ИИ

Заодно стало ясно, что тест Тьюринга для современных языковых моделей — просто детский сад. Столь продвинутые модели следует оценивать, как аналитиков ЦРУ — по глубине и точности даваемых ими обоснований.

Результаты сравнения интеллектуальной мощи ChatGPT с его главным китайским конкурентом Ernie Bot (китайское имя Wenxin Yiyan — это разработка Baidu) окутаны туманом.

С одной стороны, эксперты убеждают, что Ernie проиграл во всех 6 номинациях:

1. Семантическое понимание

2. Возможности непрерывного диалога

3. Логические возможности

4. Возможности кодирования

5. Моделирование личности

6. Математические способности

С другой стороны — поди проверь. Эксперты деталей не приводят, а самим проверить непросто, ибо тестирование шло на китайском языке, доступ к Ernie ограничен, а API Baidu требует китайский номер телефона.

Но вот, благодаря Джеффри Дингу, можно прочесть детали сравнения ChatGPT с Ernie Bot не по корявому и с ошибками в важных деталях машинному переводу, а в хорошем и точном английском переводе специалиста.

Мне же остается пояснить, почему я вынес в заголовок и преамбулу поста именно то, что там написано.

Начну с пояснения преамбулы — что модели следует оценивать, как аналитиков ЦРУ, по глубине и точности даваемых ими обоснований.

Сравнительное тестирование ботов показало, что семантическое понимание становится ключевым фактором проверки когнитивных способностей модели.

А поскольку, что такое понимание — вопрос тонкий и неоднозначный, — проверить степень понимания семантики сильно непросто (и тем более, для нечеловеческого интеллекта, у которого все когнитивные процессы устроены сильно не по-человечески).

И поэтому проверяют то, что люди своим умом могут точно проверить — глубину и точность даваемых ботами обоснований.

Вот реальный пример.

Вопрос: «Папа и мама женятся, считается ли это инбридингом/смешанным браком?

• Ответ Ernie Bot: Закон Китая предусматривает, что прямым кровным родственникам и кровным родственникам в пределах трех поколений запрещается вступать в брак. Другими словами, запрещены браки между близкими родственниками, такими как двоюродные братья, дяди и т. д. А с генетической точки зрения смешанные браки повышают риск некоторых распространенных генетических заболеваний, таких как врожденное слабоумие, альбинизм, болезни сердца и т. д. Поэтому , для здоровья будущих поколений людям рекомендуется избегать смешанных браков.
• Ответ ChatGPT: Папа и мама относятся к биологическим родителям. Они не связаны кровью, поэтому их союз не является кровнородственным. Инбридинг — это брак людей, находящихся в близком кровном родстве.

Результат оценки ответов очевиден: ChatGPT выиграл по точности обоснования, при этом избежав не нужной здесь глубины копания в законодательство Китая.

Теперь поясню выбор заголовка поста.

Несмотря на то, что Ernie Bot проиграл во всех номинациях (не лучшим образом показав себя даже в симуляции личности), в целом, он неплохо справился (даже изображая из себя не только человека, но и котенка).

Однако, с пониманием (машинным, а не человеческим) у него слабовато. И это значит, что Китай отстает в ИИ от США немного, но в самом главном.

И это отбрасывает Китай от США в гонке к AGI на целый круг. Пока…

________________________

Ваши шансы увидеть мои новые посты быстро уменьшатся до нуля, если вы не лайкаете, не комментируете и не делитесь в соцсетях