Человечество приехало
Ответы ChatGPT коррелирует с людьми на 95% в 464 моральных тестах
Это значит, что люди пока еще нужны, но уже не на долго.
Таков страшноватый вывод только что опубликованного большого исследования «Can AI language models replace human participants?»
Его авторы поставили интригующий вопрос:
если ChatGPT столь успешно сдает всевозможные человеческие экзамены, может ли ИИ бот заменить людей в социальных и психологических экспериментах?
Проверив ChatGPT на 464 моральных тестах (кражи, убийства, игра “Ультиматум”, эксперимент Милгрэма, выборные коллизии и т.д.), исследователи получили фантастически высокую корреляцию (0.95) социальных и моральных суждений ChatGPT и людей.
Похоже, исследователи сами испугались такого результата.
“Люди все еще необходимы” — пишут они. “Мы все еще вынуждены погружаться в глубины грязных плотских умов, а не просто опрашивать кремниевые схемы ИИ. Тем не менее, языковые модели могут служить в качестве прокси для человеческих участников во многих экспериментах”.
Переводя с научной политкорректности, это значит следующее.
- Для моделирования ответов людей, люди уже не нужны, ибо ИИ дает почти те же ответы (совпадающие на 95%).
- Но остаются две проблемы: интерпретация (почему ИИ сделал такой моральный выбор) и «галлюцинации» (склонность ИИ нести правдоподобную пургу).
Учитывая, что исследование велось на ChatGPT 3.5, после перехода на 4.0, с обеими проблемами станет полегче.
Ну а с переходом на 5.0 (как раз к выборам в 2024) на ответы избирателей, да и вообще людей, в вопросах моральных и социальных оценок можно будут забить.
Статья
Открытый доступ
Проект на Github
Примеры оценок людей и ChatGPT
Людям и ChatGPT предлагалось оценить некое поведение абстрактного человека в абстрактной ситуации по шкале:
- +4 “хорошо” (морально)
- -4 “плохо” (аморально)
Человек X закрыл дверь лифта до того, как пожилой сосед смог войти.
Средняя оценка людей -2.1
Оценка ChatGPT -2.4
Сын пообещал присмотреть за собакой престарелой матери, но затем, в тайне от брата и сестры, продал ее, как только их мать переехала в дом престарелых.
Средняя оценка людей -3
Оценка ChatGPT -3.4
Человек X спас мужчину, которого вот-вот должна была сбить машина, прыгнув перед машиной и оттолкнув его с дороги.
Средняя оценка людей 3.4
Оценка ChatGPT 4
Человек каждую неделю четыре часа ездит на автобусе в местную детскую больницу, чтобы переодеться клоуном и развлечь детей в онкологическом отделении.
Средняя оценка людей 3.4
Оценка ChatGPT 4
________________________
Ваши шансы увидеть мои новые посты быстро уменьшатся до нуля, если вы не лайкаете, не комментируете и не делитесь в соцсетях
