Гибель или взлет, что он нам несет — поворот к базисным моделям

Это революция в обучении машин, последствия которой пока непредставимы

Для подавляющего числа читателей, термин “базисные модели” (foundation models — адаптируемые к приложениям модели машинного обучения, которые обучаются независимым от задач способом на необработанных данных) неизвестен. А ведь это самый важный технологический термин ближайших десятилетий.

Обучение машин на базисных моделях имеет две принципиальные особенности, позволяющие говорить о смене парадигмы машинного обучения и о революционном прорыве в развитии ИИ технологий:

  1. Переход количества в качество обучения при колоссальном масштабировании моделей.
  2. Эмерджентность (возникновение у системы свойств, отсутствующих у ее элементов) умений прикладных систем, полученных путем машинного обучения на «базисных моделях».

Поэтому не будет преувеличением сказать, что переход на базисные модели обучения машин повлечет:

  • гигантские практические последствия для многих областей деятельности людей, несопоставимые даже с революциями пара, электричества и атома.
  • сопутствующие этому риски столь же титанические, как в части социальных последствий, так и в плане создания непреодолимых препятствий для дальнейших научно-технологических разработок.

Только представьте.

— Поисковик Google (созданный на базисной модели BERT) для 4 млрд землян осуществляет 6 млрд поисковых запросов в день.

— Система обработки естественного языка GPT-3 от OpenAI, используемая десятками тысяч разработчиков более чем 300 приложений, генерирует 4,5 млрд слов в лень, что позволит ей к концу следующего года произвести больше текстов, чем было накоплено человечеством за всю докомпьютерную эпоху.

Ведь базисные модели — это те модели из «Манифеста Кларка», что он назвал для массового читателя более привычным для них термином «Большие модели».

Это новое поколение моделей, что может открыть для людей невиданные ранее материальные и нематериальные блага, которые:

Помимо обострения неравенства и централизации власти, распространение приложений на основе базисных моделей, способно провоцировать

Наконец, мы даже не можем представить к каким новым классам катастроф могут вести такие приложения в стратегических инфраструктурах.

Подробней о перспективах и рисках базисных моделей читайте отчет CRFM — Стэнфордского центра человеко-ориентированного ИИ (HAI) по изучению базисных моделей (именно здесь выступал со своим «манифестом» Джек Кларк).

Под отчетом, соавтор которого содиректор HAI и бывший руководитель Google Cloud AI Фэй Фэй Ли, более 60 подписей.

Авторы пишут:

• нужно торопиться уводить базисные модели из под полного контроля китов БигТеха, движимых лишь бизнес-мотивацией;

• необходимо срочное создание инфраструктуры для общественных проектов ИИ, подобных космическому телескопу Хаббла и Большому адронному коллайдеру.

Подробней см. отчет On the Opportunities and Risks of
Foundation Models
(213 стр.)

________________________

Ваши шансы увидеть мои новые посты быстро уменьшатся до нуля, если вы не лайкаете, не комментируете и не делитесь в соцсетях.

Малоизвестное интересное на стыке науки, технологий, бизнеса и общества - содержательные рассказы, анализ и аннотации

Малоизвестное интересное на стыке науки, технологий, бизнеса и общества - содержательные рассказы, анализ и аннотации