Ловушка ЕГЭ для обучения машин еще опасней, чем для людей
Тед Чан о невозможности создать AGI, пренебрегая законами Гудхарта и Кэмпбелла
Сегодня в 19:10 по Москве, возможно, лучший фантаст современности Тед Чан расскажет на семинаре ICLR 2022 («От клеток к социумам: коллективное обучение в разных масштабах») о своем видении перспектив цифрового образования для искусственных форм жизни. А этот мой пост — одновременно тизер и резюме предстоящего выступления Теда Чана.
Не удивляйтесь, что 1м из приглашенных спикеров престижного семинара с участием звезд междисциплинарной науки Дэвида Волперта, Михаила (ныне Майкла) Левина и Джессики Флак (все трое — многократные герои моих постов), будет писатель-фантаст. Это вполне заслуженно. Ибо доклад Чана будет развитием идей ставшей знаменитой на весь мир новеллы «Жизненный цикл программных объектов», признаваемой многими ИИ-миждисциплинарщиками мира самым глубоким и проникновенным описанием принципиальной сложности создания человекоподобного ИИ (AGI).
Эта новелла о том, что большинство исследователей ИИ слепы к простой истине:
• сложные умы не могут развиваться сами по себе (иначе дети-маугли были бы такими же, как обычные дети);
• разум не растет, как сорняки, без ухода и внимания (иначе дети из детских домов достигали бы того же, что и росшие в семье);
• чтобы ум мог раскрыть заложенный в него потенциал, он нуждается в совершенствовании другими умами (его нужно учить).
Из этой простой истины следует важнейший для разработки AGI вывод — опыт алгоритмически несжимаем:
• в обучении и воспитании разумных агентов (людей или машин) нет коротких путей;
• чтобы вложить в разум машины здравый смысл, который приходит к человеку за 20 лет пребывания в этом мире, нужно посвятить этой задаче те же 20 лет (ибо невозможно собрать эквивалентную коллекцию эвристик за существенно меньшее время).
В предстоящем сегодня докладе Чан расскажет о 2м принципиальном роадблоке на пути создания AGI:
• большинство аспектов жизни людей не исчерпываются проблемой оптимизации, и потому ошибочно полагать, что обучение стандартизированных машин для сдачи тестов может привести к появлению у таких машин AGI;
• обучать будущий AGI можно лишь на непредсказуемых для машины тестах, целевые функции которых машина должна уметь определять самостоятельно.
Обучая современные ИИ, люди пошли по порочному пути, который выбрали в конце 20го века для себя — превращение обучаемых в стандартизированные машины для сдачи тестов.
Характерный пример этого пути — ЕГЭ:
• разработчики стандартизованного теста определяет целевую функцию и функцию потерь;
• в ходе обучения машину или человека учат набирать на том тесте максимально высокие баллы.
При этом обучающие пренебрегают двумя важными неформальными законами:
• закон Гудхарта гласит, что как только мера становится целью, она перестает быть хорошей мерой;
• закон Кэмпбелла гласит, что если для принятия решений используются количественные социальные показатели, они будут подвержены коррупционному давлению, все более искажая те социальные процессы, которые призваны отслеживать.
Т.е. тесты успеваемости при обучении людей и машин вполне могут быть ценными индикаторами их достижений в условиях нормального обучения, направленного на общую компетентность.
Но когда результаты тестов становятся целью учебного процесса, и то и другое теряют свою ценность, т.к. индикаторы лишь искажают образовательный процесс нежелательным образом.
Короче говоря,
тесты теряют свою полезность, как только учителям становится возможным преподавать прохождение тестирования.
Выход в том, чтобы отказаться от традиционных методов оптимизации при обучении машин (а лучше, добавлю от себя, и для людей). Пример альтернативного подхода был предложен Франсуа Шолле в работе «On the Measure of Intelligence» в форме корпуса абстракций и рассуждений ARC. Это тоже тестирование, но совсем иное:
• разработчики знают лишь формат теста, чтобы иметь возможность кодировать ИИ для преобразования входных данных в результаты;
• у разработчиков нет доступа к вопросам, по которым будет тестироваться ИИ.
А для того, чтобы научить ИИ самостоятельно ставить цели у нас есть исчерпывающий пример — естественный интеллект животных (что является их ключевым отличием от неживой природы).
Наличие у животных общей способности решать проблемы, с которыми они не сталкивались никогда в течение миллионов лет своей эволюции (как было с мышами, научившимися в ходе экспериментов всего за 24 цикла обучения управлять маленькими авто для мышей) — есть тот ключ, что может открыть нам путь к созданию AGI.
Уже примерно понятно, как появляется такая способность у всех разумных агентов: молекул, клеток, тканей, органов, организмов, популяций и биоценозов.
И понемногу становится понятным, как такая способность может появляться в ходе цифрового образования искусственных форм жизни (биологических, синтетических и гибридных).
Чему и посвящен семинар ICLR 2022 «От клеток к социумам: коллективное обучение в разных масштабах».
________________________
Ваши шансы увидеть мои новые посты быстро уменьшатся до нуля, если вы не лайкаете, не комментируете и не делитесь в соцсетях
