Что в основе планируемого OpenAI квантового скачка интеллекта GPT-5
Специнфодиета для подготовки бомжа-интеллектуала показать уровень чемпионов
Утечки из OpenAI [1] раскрывают двухэтапный план компании по осуществлению в 2025 квантового скачка интеллекта их новой модели GPT-5.
1. Весьма вероятно, что до конца 2024 планируется выпустить, в качестве радикального обновления ChatGPT, новый ИИ под кодовым названием Strawberry (ранее обозначался Q*, что произносилось Q Star).
Скорее всего, будут объявлены три кардинальных улучшения нового ИИ по сравнению с GPT-4:
- достижение чемпионского уровня при решение задач математических олимпиад (при результатах 90%++ на тесте MATH);
- скачок в улучшении логических и дедуктивных способностей (решение алгоритмических головоломок), а также сложности решаемых задач программирования (оптимизация кода);
- появление специальных механизмов долгосрочного планирования и имитации стратегического мышления.
2. Вышеназванные кардинальные улучшения нового ИИ призваны обеспечить достижение двухчастной цели:
А) Переключение на себя пользователей конкурирующих моделей.
Б) Формирование обширного нового корпуса качественных синтетических данных, на которых пройдет дообучение модель нового поколения, разрабатываемая в рамках проекта Orion. Именно эта дообученная на качественных данных модель может быть представлена в 2025 широкой аудитории под маркой GPT-5.
Сей двухэтапный план мог быть разработан для решения самой критичной проблемы больших языковых моделей — их галлюцинаций.
· Решающим фактором для минимизации галлюцинаций, является качество обучающих данных.
· Почти все существующие модели обучаются на смеси данных, в которых значительную часть составляют данные со всевозможных интернет-помоек. Эта проблема разбирается мною в 1й части только что опубликованного лонгрида «Бомж-интеллектуал — как ИИ превращает мусор в золото знаний» [2].
· Проблема замены мусора в обучающих корпусах данных на ценную информацию сейчас первоочередная для повышения интеллекта моделей. Для ее решения IBM, например, идет путем генерации спецданных под класс задач [3]. Но в OpenAI, похоже, решили сорвать банк, используя для генерации синтетических данных мировое сообщество «любителей клубнички» — их новой модели Strawberry.
Получится это у OpenAI или нет — увидим в 2025.
Но идея хитрая и, скорее всего, продуктивная — заставить сотни миллионов пользователей генерировать океаны данных, из которых, путем очистки и обогащения, будет готовиться синтетический инфокорм для новой супер-модели.
А почему нет? Ведь у спортсменов это работает: высокоуглеводные диеты для марафонцев, высокобелковые диеты для бодибилдеров, кетогенные диеты для улучшения выносливости, а также вегетарианские или веганские диеты, адаптированные под высокие физические нагрузки.
Так зачем же продолжать скармливать ИИ обучающие данные с инфо-помоек, если можно посадить модель на высокоинтеллектуальную инфо-диету синтетических данных?
Видеоподробности
#LLM
