Святой Грааль Crypto AI: передовые исследования Децентрализации обучения
В полной цепочке ценностей ИИ моделирование является самым ресурсоемким и требующим наивысших технических навыков этапом, который напрямую определяет предельные возможности модели и ее фактическую эффективность. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных масштабных вычислительных ресурсов, сложных процессов обработки данных и высокоинтенсивной поддержки оптимизационных алгоритмов, что делает его настоящей "тяжелой промышленностью" в построении ИИ-систем. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализация, на которой сосредоточено внимание данной статьи.
Централизованное обучение является наиболее распространенным традиционным методом, при котором вся процесс обучения выполняется единственным учреждением в локальном высокопроизводительном кластере. Все компоненты, от аппаратного обеспечения, программного обеспечения нижнего уровня, системы управления кластером до фреймворка обучения, координируются единой контрольной системой. Эта глубоко согласованная архитектура обеспечивает оптимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее идеальной для обучения крупных моделей, таких как GPT и Gemini, с преимуществами высокой эффективности и контролируемости ресурсов. Однако при этом существуют проблемы монополизации данных, барьеров для ресурсов, потребления энергии и рисков единой точки отказа.
Распределенное обучение является основным способом обучения больших моделей, его суть заключается в том, чтобы разбить задачу обучения модели и распределить её на несколько машин для совместного выполнения, чтобы преодолеть узкие места вычислений и хранения на одной машине. Несмотря на то, что физически он имеет "распределенные" характеристики, в целом он по-прежнему контролируется централизованным учреждением для управления и синхронизации, часто работает в среде высокоскоростной локальной сети, через технологию высокоскоростной межсоединительной шины NVLink, основной узел единолично координирует выполнение подзадач. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры делятся, необходимо согласовать веса модели
Модельное параллелизм: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
Параллельные каналы: поэтапное последовательное выполнение, повышение пропускной способности
Тензорное параллелизм: тонкая сегментация матричных расчетов, повышение степени параллелизма
Распределенное обучение является комбинацией "централизованного контроля + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно управляет сотрудниками нескольких "офисов", чтобы совместно выполнять задачи. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевые характеристики заключаются в следующем: несколько недоверяющих узлов ( могут быть домашними компьютерами, облачными GPU или крайними устройствами ), которые совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, и с использованием крипто-стимулов для обеспечения добросовестности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Гетерогенность оборудования и сложность разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
Бутылочное горлышко в эффективности связи: нестабильная сеть связи, явно заметное бутылочное горлышко в синхронизации градиентов
Недостаток доверяемого выполнения: отсутствие доверяемой среды выполнения, трудно проверить, действительно ли узлы участвуют в вычислениях.
Отсутствие единой координации: нет центрального диспетчера, сложное распределение задач и механизм отката при исключениях
Децентрализация тренировки можно понять как: группа добровольцев со всего мира, которые вносят свой вклад в вычислительную мощность для совместной тренировки модели, но "действительно осуществимая масштабная децентрализация тренировки" все еще представляет собой системную инженерную задачу, охватывающую такие аспекты, как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, проверка моделей и т. д., но вопрос о том, удастся ли "совместно эффективно + стимулировать честность + получить правильный результат", все еще находится на стадии раннего прототипирования.
Федеративное обучение как переходная форма между распределённостью и Децентрализация, акцентирует внимание на локальном хранении данных и централизованной агрегации параметров модели, подходит для сценариев, где важна соблюдение конфиденциальности, таких как медицина, финансы (. Федеративное обучение обладает инженерной структурой распределенного обучения и возможностями локальной кооперации, одновременно имея преимущества распределённых данных при Децентрализация, но всё же зависит от доверенной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, с относительно мягкими требованиями к задачам обучения, структуре доверия и коммуникационным механизмам, что делает его более подходящим для переходной инфраструктуры в промышленности.
![Священный Грааль Crypto AI: передовые исследования децентрализованного обучения])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, децентрализованное обучение не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или трудностей в сотрудничестве, оно естественно не подходит для эффективного выполнения на гетерогенных, доверительных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи, связанные с конфиденциальностью данных и ограничениями суверенитета, подвержены юридическим нормам и этическим ограничениям, что делает невозможным открытое совместное использование; а задачи, не имеющие основ для сотрудничества, испытывают недостаток внешней мотивации для участия. Эти границы вместе составляют реальные ограничения децентрализованного обучения в настоящее время.
Но это не означает, что Децентрализация тренировки является ложной проблемой. На самом деле, в типах задач с легкой структурой, легкостью параллелизации и возможностью стимулирования, Децентрализация тренировки демонстрирует явные перспективы применения. Включая, но не ограничиваясь: тонкой настройкой LoRA, задачами постобучения, связанными с выравниванием поведения ), такими как RLHF, DPO (, задачами по краудсорсингу данных и аннотацией, обучением небольших базовых моделей с контролируемыми ресурсами, а также сценариями совместного обучения с участием крайних устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и терпимостью к гетерогенным вычислительным мощностям, что делает их очень подходящими для совместного обучения через P2P сети, протокол Swarm, распределенные оптимизаторы и другие способы.
Децентрализация тренировки классических проектов
В настоящее время в области Децентрализация тренировки и федеративного обучения представительные блокчейн-проекты в основном включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили много оригинальных исследований в системной архитектуре и дизайне алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть первые шаги в инженерной реализации. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также будет дополнительно рассмотрены их различия и взаимодополняющие отношения в системе Децентрализация AI тренировки.
) Prime Intellect: Проверяемая траектория обучения в сети совместного обучения
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать заслуженные награды за свои вычислительные вклады. Prime Intellect надеется создать децентрализованную систему обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL, TOPLOC и SHARDCAST.
01, Структура протокольного стека Prime Intellect и ценность ключевых модулей
![Святой Грааль Crypto AI: Передовой исследование децентрализованного обучения]###https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
)# 02、Подробное описание ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач декомпозированного асинхронного обучения с подкреплением
PRIME-RL — это фреймворк моделирования и выполнения задач, разработанный Prime Intellect для Децентрализация обучающих сценариев, специально созданный для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, что позволяет каждому обучающему узлу независимо выполнять циклы задач локально и взаимодействовать с механизмами проверки и агрегирования через стандартизированные интерфейсы. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в условиях без центральной координации, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
#TOPLOC:Легковесный механизм верификации поведения тренировки
TOPLOC — это механизм ядра проверки обучаемости, предложенный Prime Intellect, используемый для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от полной переработки модели, а завершает верификацию легковесной структуры, анализируя локальные согласованные траектории между "последовательностью наблюдений ↔ обновлением стратегии". Он впервые преобразует траектории поведения в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без доверия и предоставляет жизнеспособный путь для создания аудируемой и стимулирующей сети децентрализованного кооперативного обучения.
#SHARDCAST: Асинхронная агрегация весов и протокол распространения
SHARDCAST — это протокол весового распространения и агрегации, разработанный Prime Intellect, оптимизированный специально для асинхронной, ограниченной по пропускной способности и с изменяющимся состоянием узлов реальной сетевой среды. Он сочетает в себе механизм распространения gossip и локальную синхронизацию, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронного состояния, что приводит к прогрессивной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и устойчивость к ошибкам децентрализованного обучения, что является основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo — это оптимизированная для связи архитектура, независимая реализация и открытый исходный код концепции DiLoCo, предложенной командой Prime Intellect на основе DeepMind. Она специально разработана для решения таких проблем, как ограниченная пропускная способность, гетерогенность устройств и нестабильные узлы, встречающиеся в процессе децентрализованного обучения. Архитектура основана на параллельной обработке данных и использует разреженные топологии, такие как Ring, Expander и Small-World, чтобы избежать высоких затрат на связь, связанных с глобальной синхронизацией, и позволяет завершать кооперативное обучение модели, полагаясь только на соседние узлы. Сочетая асинхронные обновления и механизмы восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно повышая доступность глобального кооперативного обучения, что делает его одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
#PCCL:Библиотека совместной связи
PCCL является легковесной библиотекой связи, специально разработанной Prime Intellect для Децентрализация AI тренировочной среды, которая направлена на решение проблемы адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, и является основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно увеличивает пропускную способность сети для тренировки и совместимость устройств, прокладывая "последнюю милю" связи для создания действительно открытой, не требующей доверия сети совместного обучения.
03、Стимулирующая сеть Prime Intellect и распределение ролей
Prime Intellect создал сеть тренировки, не требующую разрешений, проверяемую и обладающую экономическим стимулом, позволяя каждому участвовать в заданиях и получать вознаграждение на основе реального вклада. Протокол функционирует на основе трех основных ролей:
Инициатор задачи: определяет тренировочную среду, начальную модель, функцию вознаграждения и критерии проверки
Узел для обучения: выполнять локальное обучение, отправлять обновления весов и наблюдаемые траектории
Узлы проверки: использование механизма TOPLOC для проверки подлинности поведения обучения и участия в расчете вознаграждений и агрегации стратегий
Ядро процесса протокола включает в себя публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов ###SHARDCAST( и распределение вознаграждений, образуя замкнутый цикл стимулов вокруг "реального тренировочного поведения".
![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
)# 04、INTELLECT-2:Первая публикация проверяемой Децентрализация обучающей модели
В мае 2025 года Prime Intellect выпустил INTELLECT-2, это первая в мире модель глубокого обучения, обученная с помощью асинхронной, не требующей доверия, Децентрализации узлов. Объем параметров составляет 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения превышает 400 часов, что демонстрирует жизнеспособность и стабильность асинхронной кооперативной сети. Эта модель не только представляет собой прорыв в производительности, но и является первой системной реализацией парадигмы "обучение равно консенсус" предложенной Prime Intellect. INTELLECT-2 интегрирует основные протоколы, такие как асинхронная структура обучения PRIME-RL###, верификация учебного поведения TOPLOC( и асинхронная агрегация весов SHARDCAST), что знаменует собой первый успех Децентрализованной сети обучения.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
13 Лайков
Награда
13
6
Репост
Поделиться
комментарий
0/400
SquidTeacher
· 07-27 10:26
Пророки все сказали, что это хорошо!
Посмотреть ОригиналОтветить0
ShibaOnTheRun
· 07-25 02:34
Дрессировка собак — это и есть святой Грааль.
Посмотреть ОригиналОтветить0
LayoffMiner
· 07-24 13:50
Копая, я выпустился.
Посмотреть ОригиналОтветить0
MemecoinTrader
· 07-24 13:46
бычий на децентрализованное обучение ИИ... уже подготовил свои пакеты для следующей волны нарратива
Посмотреть ОригиналОтветить0
ChainChef
· 07-24 13:45
бро, этому обучению ИИ нужно больше времени, чтобы настояться... все еще слишком сыро, честно
Децентрализация AI тренировки: эволюционный путь от централизованного к распределенному
Святой Грааль Crypto AI: передовые исследования Децентрализации обучения
В полной цепочке ценностей ИИ моделирование является самым ресурсоемким и требующим наивысших технических навыков этапом, который напрямую определяет предельные возможности модели и ее фактическую эффективность. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных масштабных вычислительных ресурсов, сложных процессов обработки данных и высокоинтенсивной поддержки оптимизационных алгоритмов, что делает его настоящей "тяжелой промышленностью" в построении ИИ-систем. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализация, на которой сосредоточено внимание данной статьи.
Централизованное обучение является наиболее распространенным традиционным методом, при котором вся процесс обучения выполняется единственным учреждением в локальном высокопроизводительном кластере. Все компоненты, от аппаратного обеспечения, программного обеспечения нижнего уровня, системы управления кластером до фреймворка обучения, координируются единой контрольной системой. Эта глубоко согласованная архитектура обеспечивает оптимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее идеальной для обучения крупных моделей, таких как GPT и Gemini, с преимуществами высокой эффективности и контролируемости ресурсов. Однако при этом существуют проблемы монополизации данных, барьеров для ресурсов, потребления энергии и рисков единой точки отказа.
Распределенное обучение является основным способом обучения больших моделей, его суть заключается в том, чтобы разбить задачу обучения модели и распределить её на несколько машин для совместного выполнения, чтобы преодолеть узкие места вычислений и хранения на одной машине. Несмотря на то, что физически он имеет "распределенные" характеристики, в целом он по-прежнему контролируется централизованным учреждением для управления и синхронизации, часто работает в среде высокоскоростной локальной сети, через технологию высокоскоростной межсоединительной шины NVLink, основной узел единолично координирует выполнение подзадач. Основные методы включают:
Распределенное обучение является комбинацией "централизованного контроля + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно управляет сотрудниками нескольких "офисов", чтобы совместно выполнять задачи. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевые характеристики заключаются в следующем: несколько недоверяющих узлов ( могут быть домашними компьютерами, облачными GPU или крайними устройствами ), которые совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, и с использованием крипто-стимулов для обеспечения добросовестности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки можно понять как: группа добровольцев со всего мира, которые вносят свой вклад в вычислительную мощность для совместной тренировки модели, но "действительно осуществимая масштабная децентрализация тренировки" все еще представляет собой системную инженерную задачу, охватывающую такие аспекты, как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, проверка моделей и т. д., но вопрос о том, удастся ли "совместно эффективно + стимулировать честность + получить правильный результат", все еще находится на стадии раннего прототипирования.
Федеративное обучение как переходная форма между распределённостью и Децентрализация, акцентирует внимание на локальном хранении данных и централизованной агрегации параметров модели, подходит для сценариев, где важна соблюдение конфиденциальности, таких как медицина, финансы (. Федеративное обучение обладает инженерной структурой распределенного обучения и возможностями локальной кооперации, одновременно имея преимущества распределённых данных при Децентрализация, но всё же зависит от доверенной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, с относительно мягкими требованиями к задачам обучения, структуре доверия и коммуникационным механизмам, что делает его более подходящим для переходной инфраструктуры в промышленности.
![Священный Грааль Crypto AI: передовые исследования децентрализованного обучения])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, децентрализованное обучение не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или трудностей в сотрудничестве, оно естественно не подходит для эффективного выполнения на гетерогенных, доверительных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи, связанные с конфиденциальностью данных и ограничениями суверенитета, подвержены юридическим нормам и этическим ограничениям, что делает невозможным открытое совместное использование; а задачи, не имеющие основ для сотрудничества, испытывают недостаток внешней мотивации для участия. Эти границы вместе составляют реальные ограничения децентрализованного обучения в настоящее время.
Но это не означает, что Децентрализация тренировки является ложной проблемой. На самом деле, в типах задач с легкой структурой, легкостью параллелизации и возможностью стимулирования, Децентрализация тренировки демонстрирует явные перспективы применения. Включая, но не ограничиваясь: тонкой настройкой LoRA, задачами постобучения, связанными с выравниванием поведения ), такими как RLHF, DPO (, задачами по краудсорсингу данных и аннотацией, обучением небольших базовых моделей с контролируемыми ресурсами, а также сценариями совместного обучения с участием крайних устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и терпимостью к гетерогенным вычислительным мощностям, что делает их очень подходящими для совместного обучения через P2P сети, протокол Swarm, распределенные оптимизаторы и другие способы.
Децентрализация тренировки классических проектов
В настоящее время в области Децентрализация тренировки и федеративного обучения представительные блокчейн-проекты в основном включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили много оригинальных исследований в системной архитектуре и дизайне алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть первые шаги в инженерной реализации. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также будет дополнительно рассмотрены их различия и взаимодополняющие отношения в системе Децентрализация AI тренировки.
) Prime Intellect: Проверяемая траектория обучения в сети совместного обучения
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать заслуженные награды за свои вычислительные вклады. Prime Intellect надеется создать децентрализованную систему обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL, TOPLOC и SHARDCAST.
01, Структура протокольного стека Prime Intellect и ценность ключевых модулей
![Святой Грааль Crypto AI: Передовой исследование децентрализованного обучения]###https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
)# 02、Подробное описание ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач декомпозированного асинхронного обучения с подкреплением
PRIME-RL — это фреймворк моделирования и выполнения задач, разработанный Prime Intellect для Децентрализация обучающих сценариев, специально созданный для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, что позволяет каждому обучающему узлу независимо выполнять циклы задач локально и взаимодействовать с механизмами проверки и агрегирования через стандартизированные интерфейсы. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в условиях без центральной координации, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
#TOPLOC:Легковесный механизм верификации поведения тренировки
TOPLOC — это механизм ядра проверки обучаемости, предложенный Prime Intellect, используемый для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от полной переработки модели, а завершает верификацию легковесной структуры, анализируя локальные согласованные траектории между "последовательностью наблюдений ↔ обновлением стратегии". Он впервые преобразует траектории поведения в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без доверия и предоставляет жизнеспособный путь для создания аудируемой и стимулирующей сети децентрализованного кооперативного обучения.
#SHARDCAST: Асинхронная агрегация весов и протокол распространения
SHARDCAST — это протокол весового распространения и агрегации, разработанный Prime Intellect, оптимизированный специально для асинхронной, ограниченной по пропускной способности и с изменяющимся состоянием узлов реальной сетевой среды. Он сочетает в себе механизм распространения gossip и локальную синхронизацию, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронного состояния, что приводит к прогрессивной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и устойчивость к ошибкам децентрализованного обучения, что является основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
#OpenDiLoCo: Редкий асинхронный коммуникационный фреймворк
OpenDiLoCo — это оптимизированная для связи архитектура, независимая реализация и открытый исходный код концепции DiLoCo, предложенной командой Prime Intellect на основе DeepMind. Она специально разработана для решения таких проблем, как ограниченная пропускная способность, гетерогенность устройств и нестабильные узлы, встречающиеся в процессе децентрализованного обучения. Архитектура основана на параллельной обработке данных и использует разреженные топологии, такие как Ring, Expander и Small-World, чтобы избежать высоких затрат на связь, связанных с глобальной синхронизацией, и позволяет завершать кооперативное обучение модели, полагаясь только на соседние узлы. Сочетая асинхронные обновления и механизмы восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно повышая доступность глобального кооперативного обучения, что делает его одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
#PCCL:Библиотека совместной связи
PCCL является легковесной библиотекой связи, специально разработанной Prime Intellect для Децентрализация AI тренировочной среды, которая направлена на решение проблемы адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, и является основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно увеличивает пропускную способность сети для тренировки и совместимость устройств, прокладывая "последнюю милю" связи для создания действительно открытой, не требующей доверия сети совместного обучения.
03、Стимулирующая сеть Prime Intellect и распределение ролей
Prime Intellect создал сеть тренировки, не требующую разрешений, проверяемую и обладающую экономическим стимулом, позволяя каждому участвовать в заданиях и получать вознаграждение на основе реального вклада. Протокол функционирует на основе трех основных ролей:
Ядро процесса протокола включает в себя публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов ###SHARDCAST( и распределение вознаграждений, образуя замкнутый цикл стимулов вокруг "реального тренировочного поведения".
![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
)# 04、INTELLECT-2:Первая публикация проверяемой Децентрализация обучающей модели
В мае 2025 года Prime Intellect выпустил INTELLECT-2, это первая в мире модель глубокого обучения, обученная с помощью асинхронной, не требующей доверия, Децентрализации узлов. Объем параметров составляет 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения превышает 400 часов, что демонстрирует жизнеспособность и стабильность асинхронной кооперативной сети. Эта модель не только представляет собой прорыв в производительности, но и является первой системной реализацией парадигмы "обучение равно консенсус" предложенной Prime Intellect. INTELLECT-2 интегрирует основные протоколы, такие как асинхронная структура обучения PRIME-RL###, верификация учебного поведения TOPLOC( и асинхронная агрегация весов SHARDCAST), что знаменует собой первый успех Децентрализованной сети обучения.