Как спустить в унитаз $100 млрд денег конкурентов, выпустив ИИ из-под контроля

Ассиметричный ответ Google DeepMind амбициозному плану тандема Microsoft — OpenAI

• Мировые СМИ бурлят обсуждениями мощнейшего PR-хода, предпринятого Microsoft и OpenAI, об их совместном намерении за $100 млрд построить сверхбольшой ЦОД и сверхмощный ИИ-суперкомпьютер для обучения сверхумных моделей ИИ.

• Ответ на это со стороны Google DeepMind абсолютно ассиметричен: обесценить $100 млрд инвестиции конкурентов, создав распределенную по всему миру систему обучения сверхумных моделей ИИ (типа “торрента” для обучения моделей). Сделать это Google DeepMind собирается на основе DIstributed PAth COmposition (DiPaCo) — это метод масштабирования размера нейронных сетей в географически распределенных вычислительных объектах.

Долгосрочная цель проекта DiPaCo — обучать нейросети по всему миру, используя все доступные вычислительные ресурсы. Для этого необходимо пересмотреть существующие архитектуры, чтобы ограничить накладные расходы на связь, ограничение памяти и скорость вывода.

Для распараллеливания процессов распределённой обработки данных по всему миру алгоритм уже разработан — это DiLoCo, Но этого мало, ибо еще нужен алгоритм распараллеливания процессов обучения моделей. Им и стал DiPaCo.

• Детали того, как это работает, можно прочесть в этой работе Google DeepMind.
• А на пальцах в 6ти картинках это объясняет ведущий автор проекта Артур Дуйяр.

Складывается интереснейшая ситуация.

✔️ Конкуренция между Google DeepMind и тандемом Microsoft — OpenAI заставляет первых разрушить монополию «ИИ гигантов» на создание сверхумных моделей.

✔️ Но параллельно с этим произойдет обрушение всех планов правительств (США, ЕС, Китая) контролировать развитие ИИ путем контроля за крупнейшими центрами обучения моделей (с вычислительной мощностью 10²⁵ — 10²⁶ FLOPs)