Святий Грааль Crypto AI: Децентралізація тренувань на передовій
У всьому ціннісному ланцюгу AI модельне навчання є найбільш ресурсомістким та з найвищими технічними бар'єрами етапом, що безпосередньо визначає верхню межу можливостей моделі та реальний ефект застосування. Порівняно з легковаговими викликами на етапі інференції, процес навчання вимагає безперервних великих обчислювальних потужностей, складних процесів обробки даних та інтенсивної підтримки алгоритмів оптимізації, що є справжньою "важкою промисловістю" у будівництві AI-систем. З точки зору архітектурних парадигм, методи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.
Централізоване навчання є найпоширенішим традиційним способом, що здійснюється єдиною установою в локальному високопродуктивному кластері, де весь процес навчання, від апаратного забезпечення, програмного забезпечення нижнього рівня, системи управління кластером до всіх компонентів навчальної рамки, координується єдиною контрольованою системою. Така глибока співпраця архітектури забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що дуже підходить для навчання великих моделей, таких як GPT, Gemini та інші, маючи високий рівень ефективності та контрольовані ресурси, але водночас стикається з проблемами монополії даних, бар'єрів ресурсів, споживання енергії та ризику єдиної точки.
Розподілене навчання є основним способом навчання великих моделей сьогодні, його суть полягає в розподілі задачі навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень та пам'яті в одному комп'ютері. Незважаючи на те, що фізично воно має "розподілені" характеристики, загалом воно все ще контролюється централізованими установами для управління та синхронізації, зазвичай працює в середовищі швидкої локальної мережі, через технологію високошвидкісного інтерконекту NVLink, головний вузол координує всі підзадачі. Основні методи включають:
Дані паралельно: кожен вузол навчає різні дані, параметри спільні, потрібно узгодити ваги моделі
Паралельне моделювання: розгортання різних частин моделі на різних вузлах для досягнення потужної масштабованості
Паралельне виконання: поетапне послідовне виконання, підвищення пропускної спроможності
Тензорне паралельне виконання: детальне розподілення матричних обчислень, підвищення паралельного рівня
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же бос дистанційно керує співробітниками з кількох "офісів", які співпрацюють для виконання завдання. Наразі майже всі основні великі моделі навчаються саме цим способом.
Децентралізація тренувань представляє більш відкритий і стійкий до цензури шлях у майбутнє. Його ключові характеристики полягають у тому, що: кілька взаємно недовірливих вузлів ( можуть бути домашніми комп'ютерами, хмарними GPU або крайовими пристроями ), які спільно виконують завдання тренування без центрального координатора, зазвичай через протокол, що керує розподілом завдань і співпрацею, і за допомогою механізму криптостимулів для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Гетерогенність пристроїв та складнощі розподілу: висока складність координації гетерогенних пристроїв, низька ефективність розподілу завдань
Вузьке місце ефективності зв'язку: нестабільність мережевого зв'язку, чітко виявлене вузьке місце синхронізації градієнтів
Відсутність надійного виконання: нестача надійного середовища виконання ускладнює перевірку того, чи дійсно вузол бере участь у розрахунках.
Відсутність єдиного координаційного центру: немає центрального диспетчера, розподіл завдань, механізм відкату помилок складний
Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які спільно вносять обчислювальну потужність для тренування моделі, але "досі можливе масштабне децентралізоване тренування" залишається системним інженерним викликом, що охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, верифікацію моделей та інші аспекти, але чи можливо "спільно ефективно + заохочувати чесність + отримувати правильний результат" поки що перебуває на етапі раннього прототипування.
Федеративне навчання як перехідна форма між розподіленістю та Децентралізацією підкреслює локальне збереження даних і централізовану агрегацію параметрів моделі, що підходить для сценаріїв, де акцентується на дотриманні конфіденційності, таких як охорона здоров'я, фінанси (. Федеративне навчання має інженерну структуру розподіленого навчання та локальні координаційні можливості, одночасно володіючи перевагами розподілених даних при Децентралізації, але все ще залежить від надійних координаторів і не має повністю відкритих і антикорупційних характеристик. Це можна вважати "контрольованим Децентралізацією" рішенням в умовах дотримання конфіденційності, яке є відносно м'яким у завданнях навчання, структурах довіри та комунікаційних механізмах, що робить його більш придатним як перехідну архітектуру для промисловості.
![Святий Грааль Crypto AI: Децентралізація тренувань на передньому краї досліджень])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(
Децентралізація тренувань: межі, можливості та реальні шляхи
З точки зору парадигми навчання, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях через складну структуру завдань, надзвичайно високі вимоги до ресурсів або складність співпраці, воно природним чином не підходить для ефективного виконання на гетерогенних, недовірених вузлах. Наприклад, навчання великих моделей часто залежить від високої пам’яті, низької затримки та високої пропускної здатності, що ускладнює їх ефективне розподілення та синхронізацію в відкритій мережі; завдання з сильними обмеженнями конфіденційності даних та суверенітету обмежені юридичними та етичними нормами, що унеможливлює відкритий обмін; а завдання, які не мають основи для співпраці, не мають зовнішньої мотивації для участі. Ці межі разом складають реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопитанням. Насправді, у завданнях з легкою структурою, які легко паралелізуються та можуть бути стимульовані, децентралізоване навчання демонструє очевидні перспективи застосування. Сюди входять, але не обмежуються: мікронастройка LoRA, завдання після навчання, які пов'язані з вирівнюванням поведінки ), такі як RLHF, DPO (, навчання та маркування даних за допомогою краудсорсингу, навчання малих базових моделей з контрольованими ресурсами, а також сцени кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність та здатність терпіти неоднорідні обчислювальні потужності, що робить їх дуже підходящими для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та інші методи.
Децентралізація тренування класичних проектів аналіз
Наразі в області Децентралізації тренування та федеративного навчання провідні блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, що представляє сучасні теоретичні дослідження; тоді як реалізаційні шляхи Gensyn та Flock.io є відносно зрозумілими, і вже можна спостерігати перші кроки в інженерному прогресі. У цій статті будуть поетапно розглянуті основні технології та інженерні архітектури п'яти проектів, а також подальше обговорення їх відмінностей та комплементарних відносин у системі Децентралізованого AI-тренування.
) Prime Intellect: навчальні траєкторії, що підлягають перевірці, посилена навчальна кооперативна мережа піонерів
Prime Intellect прагне створити мережу навчання штучного інтелекту без потреби в довірі, щоб кожен міг брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect має на меті створити децентралізовану систему навчання штучного інтелекту з перевіркою, відкритістю та повноцінним механізмом стимулювання за допомогою трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура та ключова цінність модуля протоколу Prime Intellect
![Святий грааль Crypto AI: передові дослідження децентралізованого навчання]###https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
)# 02、Детальний опис ключових механізмів навчання Prime Intellect
#PRIME-RL:Архітектура завдань асинхронного підсиленого навчання з декомпозицією
PRIME-RL є фреймворком моделювання та виконання завдань, спеціально розробленим Prime Intellect для децентралізованих навчальних сцен, призначеним для гетерогенних мереж та асинхронних учасників. Він використовує навчання з підкріпленням як пріоритетний об'єкт адаптації, структурно розкладаючи процеси навчання, інференції та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикл завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. У порівнянні з традиційними процесами навчання з наглядом, PRIME-RL більш придатний для реалізації еластичного навчання в середовищах без центрального планування, що знижує складність системи та закладає основу для підтримки паралельних завдань і еволюції стратегій.
#TOPLOC:Легка перевірка поведінки навчання
TOPLOC є ядром механізму перевірки навчання, запропонованим Prime Intellect, для визначення того, чи справді вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від перерахунку всього моделі, а здійснює легку верифікацію, аналізуючи локальну узгодженість між "послідовністю спостережень ↔ оновленням стратегії". Вперше він перетворює поведінкові траєкторії під час навчання на об'єкти, що підлягають перевірці, що є ключовою інновацією для реалізації розподілу винагород за навчання, що не потребує довіри, та надає здійсненний шлях для побудови аудитуємих і стимулюючих децентралізованих мереж співпраці в навчанні.
#SHARDCAST: Асинхронна агрегація ваг і протокол поширення
SHARDCAST є протоколом вагового поширення та агрегації, розробленим Prime Intellect, оптимізованим для асинхронних, обмежених по пропускній здатності та змінних станів вузлів в реальних мережевих середовищах. Він поєднує механізм поширення gossip з локальною синхронізацією, що дозволяє кільком вузлам продовжувати подавати часткові оновлення в умовах асинхронності, досягаючи поступової конвергенції ваг та еволюції з кількома версіями. У порівнянні з централізованими або синхронізованими методами AllReduce, SHARDCAST значно підвищує масштабованість та стійкість до помилок децентралізованого навчання, є основою для побудови стабільного консенсусу ваг та постійної ітерації навчання.
OpenDiLoCo є комунікаційним оптимізаційним фреймворком, незалежно реалізованим і з відкритим вихідним кодом командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind. Він спеціально розроблений для вирішення таких викликів, як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів, які часто зустрічаються в децентралізованому навчанні. Його архітектура базується на паралельній обробці даних, шляхом побудови розріджених топологій, таких як Ring, Expander, Small-World, що дозволяє уникнути високих витрат на зв'язок під час глобальної синхронізації, і для завершення спільного навчання моделі достатньо лише локальних сусідніх вузлів. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та периферійним пристроям стабільно брати участь у навчальних завданнях, що суттєво підвищує можливість участі в глобальному кооперативному навчанні, і є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
#PCCL:Бібліотека кооперативних комунікацій
PCCL є легковаговою бібліотекою зв'язку, розробленою Prime Intellect для децентралізованого середовища навчання AI, яка має на меті вирішити проблеми адаптації традиційних бібліотек зв'язку на гетерогенних пристроях і мережах з низькою пропускною здатністю. PCCL підтримує рідкісну топологію, стиснення градієнта, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронну комунікацію протоколу OpenDiLoCo. Він значно підвищив толерантність до пропускної здатності навчальної мережі та сумісність пристроїв, проклавши "остання миля" комунікаційної інфраструктури для створення дійсно відкритих, бездокументних мереж для спільного навчання.
03、Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу навчання без дозволів, що підлягає перевірці та має економічні стимули, що дозволяє кожному брати участь у завданнях і отримувати винагороду на основі реальних внесків. Протокол працює на основі трьох основних ролей:
Ініціатор завдання: визначення навчального середовища, початкової моделі, функції винагороди та стандартів валідації
Навчальні вузли: виконання локального навчання, подання оновлень ваг та спостережуваних траєкторій
Вузли верифікації: використання механізму TOPLOC для перевірки достовірності навчальної поведінки та участь у розрахунку винагороди та агрегації стратегій
Ядро процесу угоди включає публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегацію ваг ###SHARDCAST( та виплату винагород, що утворює мотиваційний замкнений цикл навколо "реальних навчальних дій".
![Святий Грааль Crypto AI: передові дослідження децентралізованого навчання])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
)# 04、INTELLECT-2:Перший перевірений децентралізований тренувальний модел
Prime Intellect випустила INTELLECT-2 в травні 2025 року, це перша у світі велика модель зміцнення навчання, навчена за допомогою асинхронних, без довіри, децентралізованих вузлів. Модель INTELLECT-2 має параметри обсягом 32B. Модель INTELLECT-2 була навчена за допомогою понад 100 гетерогенних вузлів GPU, розташованих на трьох континентах, з використанням повністю асинхронної архітектури, час навчання перевищує 400 годин, що демонструє життєздатність та стабільність асинхронної мережі співпраці. Ця модель не лише є проривом у продуктивності, але й першим системним втіленням парадигми "навчання як консенсус", запропонованої Prime Intellect. INTELLECT-2 інтегрує ключові протокольні модулі, такі як асинхронна структура навчання PRIME-RL###, верифікація навчальної поведінки TOPLOC( та асинхронна агрегація ваг SHARDCAST), що знаменує перше досягнення децентралізованої навчальної мережі.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
13 лайків
Нагородити
13
6
Репост
Поділіться
Прокоментувати
0/400
SquidTeacher
· 07-27 10:26
Пророк сказав, що все добре!
Переглянути оригіналвідповісти на0
ShibaOnTheRun
· 07-25 02:34
Дресирування собак – це святий Грааль!
Переглянути оригіналвідповісти на0
LayoffMiner
· 07-24 13:50
Копаючи, закінчив навчання.
Переглянути оригіналвідповісти на0
MemecoinTrader
· 07-24 13:46
бичачий на децентралізованому навчанні штучного інтелекту... вже підготував свої пакети для наступної хвилі наративу
Переглянути оригіналвідповісти на0
ChainChef
· 07-24 13:45
бро, це навчання ШІ потребує більше часу, щоб дозріти... ще занадто сире, серйозно
Децентралізація AI тренування: еволюційний шлях від централізованого до розподіленого
Святий Грааль Crypto AI: Децентралізація тренувань на передовій
У всьому ціннісному ланцюгу AI модельне навчання є найбільш ресурсомістким та з найвищими технічними бар'єрами етапом, що безпосередньо визначає верхню межу можливостей моделі та реальний ефект застосування. Порівняно з легковаговими викликами на етапі інференції, процес навчання вимагає безперервних великих обчислювальних потужностей, складних процесів обробки даних та інтенсивної підтримки алгоритмів оптимізації, що є справжньою "важкою промисловістю" у будівництві AI-систем. З точки зору архітектурних парадигм, методи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.
Централізоване навчання є найпоширенішим традиційним способом, що здійснюється єдиною установою в локальному високопродуктивному кластері, де весь процес навчання, від апаратного забезпечення, програмного забезпечення нижнього рівня, системи управління кластером до всіх компонентів навчальної рамки, координується єдиною контрольованою системою. Така глибока співпраця архітектури забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що дуже підходить для навчання великих моделей, таких як GPT, Gemini та інші, маючи високий рівень ефективності та контрольовані ресурси, але водночас стикається з проблемами монополії даних, бар'єрів ресурсів, споживання енергії та ризику єдиної точки.
Розподілене навчання є основним способом навчання великих моделей сьогодні, його суть полягає в розподілі задачі навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень та пам'яті в одному комп'ютері. Незважаючи на те, що фізично воно має "розподілені" характеристики, загалом воно все ще контролюється централізованими установами для управління та синхронізації, зазвичай працює в середовищі швидкої локальної мережі, через технологію високошвидкісного інтерконекту NVLink, головний вузол координує всі підзадачі. Основні методи включають:
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же бос дистанційно керує співробітниками з кількох "офісів", які співпрацюють для виконання завдання. Наразі майже всі основні великі моделі навчаються саме цим способом.
Децентралізація тренувань представляє більш відкритий і стійкий до цензури шлях у майбутнє. Його ключові характеристики полягають у тому, що: кілька взаємно недовірливих вузлів ( можуть бути домашніми комп'ютерами, хмарними GPU або крайовими пристроями ), які спільно виконують завдання тренування без центрального координатора, зазвичай через протокол, що керує розподілом завдань і співпрацею, і за допомогою механізму криптостимулів для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які спільно вносять обчислювальну потужність для тренування моделі, але "досі можливе масштабне децентралізоване тренування" залишається системним інженерним викликом, що охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, верифікацію моделей та інші аспекти, але чи можливо "спільно ефективно + заохочувати чесність + отримувати правильний результат" поки що перебуває на етапі раннього прототипування.
Федеративне навчання як перехідна форма між розподіленістю та Децентралізацією підкреслює локальне збереження даних і централізовану агрегацію параметрів моделі, що підходить для сценаріїв, де акцентується на дотриманні конфіденційності, таких як охорона здоров'я, фінанси (. Федеративне навчання має інженерну структуру розподіленого навчання та локальні координаційні можливості, одночасно володіючи перевагами розподілених даних при Децентралізації, але все ще залежить від надійних координаторів і не має повністю відкритих і антикорупційних характеристик. Це можна вважати "контрольованим Децентралізацією" рішенням в умовах дотримання конфіденційності, яке є відносно м'яким у завданнях навчання, структурах довіри та комунікаційних механізмах, що робить його більш придатним як перехідну архітектуру для промисловості.
![Святий Грааль Crypto AI: Децентралізація тренувань на передньому краї досліджень])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(
Децентралізація тренувань: межі, можливості та реальні шляхи
З точки зору парадигми навчання, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях через складну структуру завдань, надзвичайно високі вимоги до ресурсів або складність співпраці, воно природним чином не підходить для ефективного виконання на гетерогенних, недовірених вузлах. Наприклад, навчання великих моделей часто залежить від високої пам’яті, низької затримки та високої пропускної здатності, що ускладнює їх ефективне розподілення та синхронізацію в відкритій мережі; завдання з сильними обмеженнями конфіденційності даних та суверенітету обмежені юридичними та етичними нормами, що унеможливлює відкритий обмін; а завдання, які не мають основи для співпраці, не мають зовнішньої мотивації для участі. Ці межі разом складають реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопитанням. Насправді, у завданнях з легкою структурою, які легко паралелізуються та можуть бути стимульовані, децентралізоване навчання демонструє очевидні перспективи застосування. Сюди входять, але не обмежуються: мікронастройка LoRA, завдання після навчання, які пов'язані з вирівнюванням поведінки ), такі як RLHF, DPO (, навчання та маркування даних за допомогою краудсорсингу, навчання малих базових моделей з контрольованими ресурсами, а також сцени кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність та здатність терпіти неоднорідні обчислювальні потужності, що робить їх дуже підходящими для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та інші методи.
Децентралізація тренування класичних проектів аналіз
Наразі в області Децентралізації тренування та федеративного навчання провідні блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, що представляє сучасні теоретичні дослідження; тоді як реалізаційні шляхи Gensyn та Flock.io є відносно зрозумілими, і вже можна спостерігати перші кроки в інженерному прогресі. У цій статті будуть поетапно розглянуті основні технології та інженерні архітектури п'яти проектів, а також подальше обговорення їх відмінностей та комплементарних відносин у системі Децентралізованого AI-тренування.
) Prime Intellect: навчальні траєкторії, що підлягають перевірці, посилена навчальна кооперативна мережа піонерів
Prime Intellect прагне створити мережу навчання штучного інтелекту без потреби в довірі, щоб кожен міг брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect має на меті створити децентралізовану систему навчання штучного інтелекту з перевіркою, відкритістю та повноцінним механізмом стимулювання за допомогою трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура та ключова цінність модуля протоколу Prime Intellect
![Святий грааль Crypto AI: передові дослідження децентралізованого навчання]###https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
)# 02、Детальний опис ключових механізмів навчання Prime Intellect
#PRIME-RL:Архітектура завдань асинхронного підсиленого навчання з декомпозицією
PRIME-RL є фреймворком моделювання та виконання завдань, спеціально розробленим Prime Intellect для децентралізованих навчальних сцен, призначеним для гетерогенних мереж та асинхронних учасників. Він використовує навчання з підкріпленням як пріоритетний об'єкт адаптації, структурно розкладаючи процеси навчання, інференції та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикл завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. У порівнянні з традиційними процесами навчання з наглядом, PRIME-RL більш придатний для реалізації еластичного навчання в середовищах без центрального планування, що знижує складність системи та закладає основу для підтримки паралельних завдань і еволюції стратегій.
#TOPLOC:Легка перевірка поведінки навчання
TOPLOC є ядром механізму перевірки навчання, запропонованим Prime Intellect, для визначення того, чи справді вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від перерахунку всього моделі, а здійснює легку верифікацію, аналізуючи локальну узгодженість між "послідовністю спостережень ↔ оновленням стратегії". Вперше він перетворює поведінкові траєкторії під час навчання на об'єкти, що підлягають перевірці, що є ключовою інновацією для реалізації розподілу винагород за навчання, що не потребує довіри, та надає здійсненний шлях для побудови аудитуємих і стимулюючих децентралізованих мереж співпраці в навчанні.
#SHARDCAST: Асинхронна агрегація ваг і протокол поширення
SHARDCAST є протоколом вагового поширення та агрегації, розробленим Prime Intellect, оптимізованим для асинхронних, обмежених по пропускній здатності та змінних станів вузлів в реальних мережевих середовищах. Він поєднує механізм поширення gossip з локальною синхронізацією, що дозволяє кільком вузлам продовжувати подавати часткові оновлення в умовах асинхронності, досягаючи поступової конвергенції ваг та еволюції з кількома версіями. У порівнянні з централізованими або синхронізованими методами AllReduce, SHARDCAST значно підвищує масштабованість та стійкість до помилок децентралізованого навчання, є основою для побудови стабільного консенсусу ваг та постійної ітерації навчання.
#OpenDiLoCo:Рідкісний асинхронний комунікаційний фреймворк
OpenDiLoCo є комунікаційним оптимізаційним фреймворком, незалежно реалізованим і з відкритим вихідним кодом командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind. Він спеціально розроблений для вирішення таких викликів, як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів, які часто зустрічаються в децентралізованому навчанні. Його архітектура базується на паралельній обробці даних, шляхом побудови розріджених топологій, таких як Ring, Expander, Small-World, що дозволяє уникнути високих витрат на зв'язок під час глобальної синхронізації, і для завершення спільного навчання моделі достатньо лише локальних сусідніх вузлів. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та периферійним пристроям стабільно брати участь у навчальних завданнях, що суттєво підвищує можливість участі в глобальному кооперативному навчанні, і є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
#PCCL:Бібліотека кооперативних комунікацій
PCCL є легковаговою бібліотекою зв'язку, розробленою Prime Intellect для децентралізованого середовища навчання AI, яка має на меті вирішити проблеми адаптації традиційних бібліотек зв'язку на гетерогенних пристроях і мережах з низькою пропускною здатністю. PCCL підтримує рідкісну топологію, стиснення градієнта, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронну комунікацію протоколу OpenDiLoCo. Він значно підвищив толерантність до пропускної здатності навчальної мережі та сумісність пристроїв, проклавши "остання миля" комунікаційної інфраструктури для створення дійсно відкритих, бездокументних мереж для спільного навчання.
03、Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу навчання без дозволів, що підлягає перевірці та має економічні стимули, що дозволяє кожному брати участь у завданнях і отримувати винагороду на основі реальних внесків. Протокол працює на основі трьох основних ролей:
Ядро процесу угоди включає публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегацію ваг ###SHARDCAST( та виплату винагород, що утворює мотиваційний замкнений цикл навколо "реальних навчальних дій".
![Святий Грааль Crypto AI: передові дослідження децентралізованого навчання])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
)# 04、INTELLECT-2:Перший перевірений децентралізований тренувальний модел
Prime Intellect випустила INTELLECT-2 в травні 2025 року, це перша у світі велика модель зміцнення навчання, навчена за допомогою асинхронних, без довіри, децентралізованих вузлів. Модель INTELLECT-2 має параметри обсягом 32B. Модель INTELLECT-2 була навчена за допомогою понад 100 гетерогенних вузлів GPU, розташованих на трьох континентах, з використанням повністю асинхронної архітектури, час навчання перевищує 400 годин, що демонструє життєздатність та стабільність асинхронної мережі співпраці. Ця модель не лише є проривом у продуктивності, але й першим системним втіленням парадигми "навчання як консенсус", запропонованої Prime Intellect. INTELLECT-2 інтегрує ключові протокольні модулі, такі як асинхронна структура навчання PRIME-RL###, верифікація навчальної поведінки TOPLOC( та асинхронна агрегація ваг SHARDCAST), що знаменує перше досягнення децентралізованої навчальної мережі.