C какой стороны мы от сингулярности?

Всплеск оптимизма от приближения к AGI может быть неспроста

Сергей Карелов
3 min readJan 19, 2025
Источник: https://www.exponentialview.co/p/agi-in-2025?utm_source=publication-search

4го января Сэм Альтман (как ни относись к нему, но он сейчас самый влиятельный человек в мире ИИ) так описал свой текущий статус: «около сингулярности; непонятно, с какой стороны» [1].

А через 2 дня он уточнил в интервью, что AGI будет создан уже при Трампе (т.е. до 2029) [2], и в тот же день пояснил это в своих «размышлениях» [3]:

«Теперь мы уверены, что знаем, как создать AGI в традиционном понимании. Мы считаем, что в 2025 году мы можем увидеть, как первые ИИ-агенты «станут частью трудовых ресурсов» и существенно изменят результаты деятельности компаний. […] Мы начинаем нацеливаться […] на сверхинтеллект в истинном смысле этого слова».

Если данный прогноз Альтмана оправдается, это будет иметь для человечества колоссальное значение. Ибо в сравнении с этим, любые события, кажущиеся нам сейчас сверхважными (типа завтрашней инаугурации Трампа), превращаются в проходящие малозначимые эпизоды на фоне погружения мира в черную дыру сингулярности.

Так что же такого произошло, в результате чего мир оказался вблизи сингулярности, т.к. прогнозы появления AGI стремительным домкратом обрушились на графиках вниз (см картинку поста с графиком от Exponentialview [4])?

Точно это знает лишь сам Сэм. Мне же видится, что наиболее простую и в то же время убедительную версию описал Гверн Бранвен [5] в комментарии к посту Райана Кидда [6] о последствиях новой парадигмы масштабирования вывода:
«Я думаю, что здесь не хватает важной части парадигмы масштабирования самостоятельной игры: большая часть смысла модели, такой как o1, заключается не в ее развертывании , а в генерации обучающих данных для следующей модели. Каждая проблема, которую решает o1, теперь является точкой обучающих данных для o3 (например, любой сеанс o1, который в конце концов натыкается на правильный ответ, может быть улучшен, чтобы устранить тупики и произвести чистую расшифровку для обучения более утонченной интуиции).»

Насколько это так, каждый читатель может сам проверить экспериментально, следуя простой инструкции из 4 пунктов.

1. Возьмите текст своей переписки с ChatGPT по задаче, которую последний не смог для вас удовлетворительно решить.

2. Отправьте этот текст на вход Клоду с просьбой решить-таки эту задачу.

3. Получите ответ Клода, который, с большой вероятностью, если даже не будет 100%но удовлетворяющим вас решением задачи, то, как минимум, окажется существенно лучше, чем ответ ChatGPT.

4. А теперь последний и самый интересный шаг. Поменяйте местами ChatGPT и Клод в пп 1–3 для какой-либо иной задачи. И с большой вероятностью вышеописанное повторится. Т.е. неважно, какой ИИ будет решать задачу первым. Главное, — что второй, воспользуется данными о решении задачи первым, и за счет этого решит ее лучше (говоря словами Гверна, «каждая проблема, которую решает o1, теперь является точкой обучающих данных для o3»).

Или еще пример из истории развития новых версий AlphaGo: AlphaGo Fan, AlphaGo Lee, AlphaGo Master и последняя из версий AlphaGo Zero, обучившаяся уже исключительно на играх с самой собой, без использования человеческих данных.

За 2 года условный рейтинг Эло новых версий вырос с 3300 (что было выше, чем у большинства профессионалов уровня чемпиона мира) до немыслимого для людей уровня 5185. После 2018 года компания DeepMind прекратила разработку и участие AlphaGo в официальных матчах, т.к. это стало неинтересно и бессмысленно — люди так и близко играть не могут.

Так вот. Если Гверн Бранвен прав, включился мощный эффект маховика данных, когда каждая новая модель порождает данные для обучения следующей, еще лучшей модели.

Но тогда прав будет и Сэм Альтман. А завтрашняя инаугурация Трампа из важнейшего мирового события четырехлетия превратится в малозначащий эпизод наступления на Земле эпохи сингулярности.

#AGI #Вызовы21века

1 https://x.com/sama/status/1875603249472139576

2 https://www.bloomberg.com/features/2025-sam-altman-interview/?srnd=phx-ai

3 https://blog.samaltman.com/reflections

4 https://www.exponentialview.co/p/agi-in-2025?utm_source=publication-search

5 https://www.lesswrong.com/posts/HiTjDZyWdLEGCDzqu/?commentId=MPNF8uSsi9mvZLxqz&utm_source=substack&utm_medium=email

6 https://www.lesswrong.com/posts/HiTjDZyWdLEGCDzqu/

--

--

Сергей Карелов
Сергей Карелов

Written by Сергей Карелов

Малоизвестное интересное на стыке науки, технологий, бизнеса и общества - содержательные рассказы, анализ и аннотации

No responses yet