Коллективный разум побеждает глубокое обучение

Image for post
Image for post

Уже понятно, что компьютеры сильнее человека, даже если этот человек — чемпион мира (шахматы, го и будет много чего еще).
Но каков будет результат соревнования компьютеров с коллективным человеческим разумом, — до последнего времени было не понятно.

И вот первый замечательный результат — коллективный разум оказался сильней.

В опубликованном вчера исследовании «Opinion Mining From Social Media Short Texts: Does Collective Intelligence Beat Deep Learning?» попытались с помощью краудсорсинга превзойти наилучшие компьютерные результаты, достигаемые глубоким обучением в области майнинга мнений в коротких сообщениях Твиттера и Фейсбука. И авторам это удалось.

Майнинг мнений — это по сути анализ тональности (сентимент-анализ) коротких текстов — твиттов и постов. Результат анализа — понимание настроения авторов в момент написания текстов и/или их отношения к тому, о чем они написали в своих текстах.

По сути — это задача классификации текста. Её можно решать по-разному. Например (и это сегодня наиболее распространенный подход), — анализ лексикона текстов с выделением в нем эмоционально окрашенных терминов (тегов, ключевых слов), показывающих полярность настроения (типа, отличный и ужасный).

Подход, основанный на лексиконе, довольно эффективен для классификации коротких текстов на два разных класса, например, позитивные и негативные настроения. Но по мере включения новых категорий эффективность классификации резко падает. Подходы машинного обучения используют пары текстов и соответствующие метки для обучения моделей классификации.

Авторам исследования удалось эмпирически доказать, что созданные коллективным разумом толпы индексы, названные авторами «лексиконом толпы» и основанные на тэгах, выделенных коллективным разумом, могут эффективно использоваться для обучения моделей классификации настроений для коротких текстов.

Более того! Эти модели, как минимум, так же эффективны, как и модели, разработанные с помощью глубокое обучение или даже лучше.

Особенно замечательно, что масштабированием (увеличением вычислительной мощности компьютеров) ситуацию принципиально не изменить, поскольку для коллективного разума краудсорсинговой платформы нарастить число участников куда проще и дешевле.

Таким образом показано, что при решении интеллектуальных задач, в основе которых есть хотя бы минимальное извлечение смысла (типа выявление новых пар полярно эмоционально окрашенных слов), коллективный разум оказывается сильнее машинного.

Так что эволюция не ошиблась, выбрав Homo Sapience.
Хоть в играх человек слабее машин, но по жизни без понимания смысла приходится туго. И здесь человеческий разум сильнее. Если не индивидуальный, так коллективный.

________________________________

Если вам понравился этот пост — не забудьте:

- нажать “палец вверх”;

- подписаться на обновления канала на платформе Medium;

- оставить комментарий.

Еще больше материалов на моем Телеграм канале «Малоизвестное интересное». Подпишитесь

Written by

Малоизвестное интересное на стыке науки, технологий, бизнеса и общества - содержательные рассказы, анализ и аннотации

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store