الكأس المقدس ل Crypto AI: استكشاف الحدود للتدريب اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعد تدريب النموذج هو المرحلة الأكثر استهلاكًا للموارد والأعلى في متطلبات التقنية، حيث يحدد مباشرة الحد الأقصى لقدرة النموذج وفعالية التطبيق الفعلية. بالمقارنة مع الاستدعاءات الخفيفة في مرحلة الاستدلال، تتطلب عملية التدريب استثمارات مستمرة من القدرة الحاسوبية على نطاق واسع، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، وهي "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نماذج الهيكل، يمكن تصنيف طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يتم مناقشته في هذه المقالة.
يعتبر التدريب المركزي هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم إكمال جميع عمليات التدريب بواسطة مؤسسة واحدة في مجموعة عالية الأداء محليًا، من الأجهزة، وبرامج التشغيل الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب التي يتم تنسيقها بواسطة نظام تحكم موحد. تسمح هذه البنية التحتية العميقة المتكاملة بمشاركة الذاكرة، ومزامنة التدرجات، وآلية تحمل الأخطاء لتحقيق أقصى كفاءة، وهي مناسبة جدًا لتدريب نماذج كبيرة مثل GPT وGemini، حيث تتمتع بمزايا الكفاءة العالية، وقابلية التحكم في الموارد، ولكنها تعاني أيضًا من مشاكل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
تعتبر التدريب الموزع الطريقة السائدة في تدريب النماذج الكبيرة الحالية، حيث تكمن الفكرة الأساسية في تقسيم مهمة تدريب النموذج، وتوزيعها على عدة آلات لتنفيذها بشكل متعاون، وذلك لتجاوز قيود الحساب والتخزين في الأجهزة الفردية. على الرغم من أنها تتمتع بخصائص "اللامركزية" من الناحية الفيزيائية، إلا أن النظام الكلي لا يزال تحت سيطرة مؤسسة مركزية تقوم بالتحكم في الجدولة والمزامنة، وغالبًا ما يعمل في بيئة شبكة محلية عالية السرعة، من خلال تقنية NVLink لربط الحافلات عالية السرعة، حيث يقوم العقدة الرئيسية بتنسيق المهام الفرعية بشكل موحد. تشمل الطرق الرائجة:
البيانات المتوازية: كل عقدة تدرب على بيانات مختلفة مع مشاركة المعلمات، ويتطلب مطابقة أوزان النموذج
توازي النموذج: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية التوسع العالية
أنابيب متوازية: تنفيذ تسلسلي على مراحل، لزيادة السعة الإنتاجية
التوازي النمطي: تقسيم دقيق لحساب المصفوفات، لتحسين درجة التوازي
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، مما يشبه كيفية توجيه نفس المدير عن بُعد لموظفين في عدة "مكاتب" للتعاون في إكمال المهام. حاليًا، يتم تدريب معظم النماذج الكبيرة الرائجة تقريبًا بهذه الطريقة.
اللامركزية التدريب تمثل مسارًا مستقبليًا أكثر انفتاحًا ومقاومة للرقابة. تتمثل ميزتها الأساسية في: يمكن أن تكون عدة نقاط غير موثوقة ( مثل أجهزة الكمبيوتر المنزلية أو وحدات معالجة الرسومات السحابية أو أجهزة الحافة ) تعمل معًا لإكمال مهام التدريب دون منسق مركزي، عادةً من خلال بروتوكولات تدفع توزيع المهام والتعاون، وبمساعدة آلية تحفيز مشفرة لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:
صعوبة تباين الأجهزة والتقسيم: صعوبة تنسيق الأجهزة المتنوعة، وانخفاض كفاءة تقسيم المهام
عنق الزجاجة في كفاءة الاتصال: اتصالات الشبكة غير مستقرة، وهناك وضوح في عنق الزجاجة في مزامنة التدرج
نقص التنفيذ الموثوق: عدم وجود بيئة تنفيذ موثوقة، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك فعليًا في الحساب.
نقص التنسيق الموحد: لا يوجد جهاز مركزي للتوجيه، توزيع المهام وآلية التراجع عن الاستثناءات معقدة
اللامركزية التدريب يمكن فهمه على أنه: مجموعة من المتطوعين العالميين، يساهمون كل واحد منهم بقوة الحوسبة لتدريب النموذج بشكل تعاوني، ولكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، ويتعلق بهندسة النظام، بروتوكولات الاتصال، أمان التشفير، آلية الاقتصاد، والتحقق من النموذج على عدة مستويات، ولكن هل يمكن أن يكون "تعاون فعال + تحفيز صادق + نتائج صحيحة" لا يزال في مرحلة استكشاف النماذج الأولية المبكرة.
تعتبر التعلم الفيدرالي شكلًا انتقاليًا بين التوزيع واللامركزية، حيث يركز على الاحتفاظ بالبيانات محليًا، وتجمع مركزي لبارامترات النموذج، مما يجعله مناسبًا للسيناريوهات التي تركز على الامتثال للخصوصية مثل الرعاية الصحية، والمالية. يتمتع التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة على التعاون المحلي، وفي نفس الوقت يمتلك مزايا توزيع البيانات للتدريب اللامركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يتمتع بخصائص الانفتاح الكامل ومقاومة الرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في سيناريوهات الامتثال للخصوصية، حيث تكون مهام التدريب، وهيكل الثقة، وآلية الاتصال متحفظة نسبيًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.
اللامركزية تدريب الحدود، الفرص والواقع المسار
من حيث نموذج التدريب، لا يناسب التدريب اللامركزي جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، ومتطلبات الموارد العالية للغاية، أو صعوبة التعاون، فإنه ليس مناسبًا بطبيعته لإكماله بكفاءة بين العقد غير المتجانسة وغير الموثوقة. على سبيل المثال، غالبًا ما يعتمد تدريب النماذج الكبيرة على ذاكرة عالية، ووقت استجابة منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمه ومزامنته بشكل فعال في الشبكات المفتوحة؛ كما أن المهام التي تتطلب خصوصية البيانات وقيود السيادة مقيدة بالقوانين والامتثال والأخلاقيات، مما يمنع المشاركة المفتوحة؛ بينما تفتقر المهام التي تفتقر إلى حوافز التعاون إلى الدافع الخارجي للمشاركة. تشكل هذه الحدود معًا القيود الواقعية الحالية للتدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو فرضية زائفة. في الواقع، في أنواع المهام الخفيفة الهيكل، سهلة التوازي، والقابلة للتحفيز، يظهر التدريب اللامركزي آفاق تطبيق واضحة. بما في ذلك، على سبيل المثال لا الحصر: تعديل LoRA، مهام التدريب بعد المحاذاة السلوكية مثل RLHF، DPO(، تدريب وتوسيم البيانات الجماعية، تدريب النماذج الأساسية الصغيرة القابلة للتحكم في الموارد، وكذلك سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. تمتاز هذه المهام عمومًا بخصائص عالية من التوازي، وانخفاض الترابط، والتحمل لقوة حساب متباينة، مما يجعلها مناسبة جدًا للتدريب التعاوني من خلال شبكة P2P، بروتوكول Swarm، ومحسنات موزعة.
تحليل المشاريع الكلاسيكية للتدريب اللامركزي
حاليًا في مجال التدريب اللامركزي وتعلم الفيدرالية، تشمل المشاريع البارزة في مجال blockchain بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم الأنظمة والخوارزميات، وتمثل الاتجاهات الرائدة في الأبحاث النظرية الحالية؛ بينما يتمتع Gensyn وFlock.io بمسارات تنفيذ واضحة نسبيًا، ويمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية لهذه المشاريع الخمسة، ودراسة الاختلافات والعلاقات التكميلية بينها في نظام تدريب الذكاء الاصطناعي اللامركزي.
) Prime Intellect: رائد شبكة التعاون في التعلم المعزز القابل للتحقق من مسار التدريب
تسعى Prime Intellect إلى بناء شبكة تدريب AI لا تتطلب الثقة، مما يتيح لأي شخص المشاركة في التدريب والحصول على مكافآت موثوقة على مساهمته الحسابية. تأمل Prime Intellect من خلال وحدات PRIME-RL و TOPLOC و SHARDCAST الثلاثة، في إنشاء نظام تدريب AI اللامركزي الذي يتمتع بالتحقق والانفتاح وآلية تحفيز كاملة.
(# 01، هيكل بروتوكول Prime Intellect و قيمة الوحدات الرئيسية
![كأس القدر للذكاء الاصطناعي: استكشاف اللامركزية في التدريب])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp###
02، شرح آلية تدريب Prime Intellect الرئيسية
#PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفكك
PRIME-RL هو إطار نموذج المهام والتنفيذ المخصص من Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يستخدم التعلم المعزز ككائن تكيفي رئيسي، حيث يفصل هيكليًا عملية التدريب والاستدلال ورفع الأوزان، مما يسمح لكل عقدة تدريب بإكمال حلقة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات موحدة وآليات التحقق والتجميع. بالمقارنة مع عمليات التعلم الخاضعة للإشراف التقليدية، فإن PRIME-RL أكثر ملاءمة لتنفيذ التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام، ويؤسس لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.
#TOPLOC:آلية التحقق من سلوك التدريب الخفيف
TOPLOC هو آلية أساسية للتحقق من إمكانية التدريب اقترحها Prime Intellect، تُستخدم لتحديد ما إذا كانت العقدة قد أكملت حقًا تعلم استراتيجية فعالة بناءً على بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب نموذج كامل، بل يكمل التحقق الهيكلي الخفيف من خلال تحليل المسارات المحلية للتناسق بين "سلسلة المراقبة↔تحديث الاستراتيجية". إنه يحول للمرة الأولى مسارات السلوك خلال عملية التدريب إلى كائنات قابلة للتحقق، وهو الابتكار الرئيسي لتحقيق توزيع مكافآت التدريب بدون ثقة، مما يوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
#SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن
SHARDCAST هو بروتوكول لنشر الوزن وتجميعه مصمم بواسطة Prime Intellect، تم تحسينه خصيصًا لبيئات الشبكة الحقيقية التي تعاني من عدم التزامن، قيود النطاق الترددي وتغير حالة العقد. يجمع بين آلية نشر gossip واستراتيجيات التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالة عدم التزامن، مما يحقق تقاربًا تدريجيًا للوزن وتطورات متعددة النسخ. بالمقارنة مع طرق AllReduce المركزية أو المتزامنة، فإن SHARDCAST يعزز بشكل ملحوظ قابلية التوسع والقدرة على تحمل الأخطاء في التدريب اللامركزي، وهو الأساس الرئيسي لبناء إجماع الوزن المستقر والتدريب المتواصل.
#OpenDiLoCo: إطار الاتصال غير المتزامن المتناثر
OpenDiLoCo هو إطار عمل لتحسين الاتصالات تم تطويره وتنفيذه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على مفهوم DiLoCo الذي طرحته DeepMind، وقد تم تصميمه خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. يعتمد هيكله على التوازي في البيانات، من خلال بناء هياكل طوبولوجية متناثرة مثل Ring وExpander وSmall-World، مما يتجنب التكلفة العالية للتزامن العالمي في الاتصالات، ويعتمد فقط على العقد المجاورة المحلية لإكمال التدريب التعاوني للنموذج. من خلال دمج التحديثات غير المتزامنة وآلية التحمل لنقاط التوقف، يجعل OpenDiLoCo وحدات معالجة الرسومات الاستهلاكية والأجهزة الطرفية قادرة على المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير من إمكانية المشاركة في التدريب التعاوني العالمي، ويعتبر أحد البنى التحتية الأساسية للتواصل لبناء شبكة تدريب لامركزية.
#PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل اختناقات التكيف للمكتبات التقليدية في الأجهزة المتغايرة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL التوبولوجيا المتناثرة، وضغط التدرجات، والتزامن منخفض الدقة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم قدرة الاتصال غير المتزامن لبروتوكول OpenDiLoCo. إنه يعزز بشكل كبير من قدرة تحمل النطاق الترددي لشبكة التدريب وتوافق الأجهزة، ويفتح "آخر كيلومتر" من البنية التحتية للاتصال لبناء شبكة تدريب تعاونية مفتوحة حقًا وموثوقة.
(# 03، شبكة Prime Intellect والتحفيز وتقسيم الأدوار
بني Prime Intellect شبكة تدريب قابلة للتحقق وبدون إذن، مزودة بآلية حوافز اقتصادية، تسمح لأي شخص بالمشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول استنادًا إلى ثلاث فئات من الأدوار الأساسية:
عقد التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات المراقبة
عقدة التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب، والمشاركة في حساب المكافآت وتجميع الاستراتيجيات
تشمل العمليات الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان )SHARDCAST### وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".
)# 04، INTELLECT-2: إصدار أول نموذج تدريب قابل للتحقق اللامركزية
أصدر Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز يتم تدريبه بواسطة عقد غير مركزية، لا تتطلب الثقة، بالتعاون. يصل حجم المعلمات إلى 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة GPU غير متجانسة منتشرة عبر ثلاث قارات، باستخدام بنية غير متزامنة بالكامل، واستغرقت فترة التدريب أكثر من 400 ساعة، مما يظهر قابلية وموثوقية الشبكة التعاونية غير المتزامنة. لا يمثل هذا النموذج مجرد اختراق في الأداء، بل هو أيضًا التنفيذ النظامي الأول لمفهوم Prime Intellect "التدريب هو الإجماع". يتضمن INTELLECT-2 بنية التدريب غير المتزامنة PRIME-RL(، والتحقق من سلوك التدريب TOPLOC)، وتجميع الأوزان غير المتزامنة SHARDCAST###، مما يمثل المرة الأولى التي تحقق فيها شبكة التدريب اللامركزية التدريب بشكل كامل.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 13
أعجبني
13
6
إعادة النشر
مشاركة
تعليق
0/400
SquidTeacher
· 07-27 10:26
العرافون قالوا إنه جيد!
شاهد النسخة الأصليةرد0
ShibaOnTheRun
· 07-25 02:34
تدريب الكلاب هو الكأس المقدس!
شاهد النسخة الأصليةرد0
LayoffMiner
· 07-24 13:50
كنت أحفر حتى تخرجت
شاهد النسخة الأصليةرد0
MemecoinTrader
· 07-24 13:46
صاعد على تدريب الذكاء الاصطناعي اللامركزي... لقد وضعت بالفعل حقائبي للمرحلة السردية التالية
شاهد النسخة الأصليةرد0
ChainChef
· 07-24 13:45
يا رجل، هذا تدريب الذكاء الاصطناعي يحتاج إلى مزيد من الوقت لينضج... لا يزال غير ناضج حقًا
استكشاف الحدود في تدريب الذكاء الاصطناعي اللامركزي: الطريق من المركزية إلى التوزيع
الكأس المقدس ل Crypto AI: استكشاف الحدود للتدريب اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعد تدريب النموذج هو المرحلة الأكثر استهلاكًا للموارد والأعلى في متطلبات التقنية، حيث يحدد مباشرة الحد الأقصى لقدرة النموذج وفعالية التطبيق الفعلية. بالمقارنة مع الاستدعاءات الخفيفة في مرحلة الاستدلال، تتطلب عملية التدريب استثمارات مستمرة من القدرة الحاسوبية على نطاق واسع، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، وهي "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نماذج الهيكل، يمكن تصنيف طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يتم مناقشته في هذه المقالة.
يعتبر التدريب المركزي هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم إكمال جميع عمليات التدريب بواسطة مؤسسة واحدة في مجموعة عالية الأداء محليًا، من الأجهزة، وبرامج التشغيل الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب التي يتم تنسيقها بواسطة نظام تحكم موحد. تسمح هذه البنية التحتية العميقة المتكاملة بمشاركة الذاكرة، ومزامنة التدرجات، وآلية تحمل الأخطاء لتحقيق أقصى كفاءة، وهي مناسبة جدًا لتدريب نماذج كبيرة مثل GPT وGemini، حيث تتمتع بمزايا الكفاءة العالية، وقابلية التحكم في الموارد، ولكنها تعاني أيضًا من مشاكل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
تعتبر التدريب الموزع الطريقة السائدة في تدريب النماذج الكبيرة الحالية، حيث تكمن الفكرة الأساسية في تقسيم مهمة تدريب النموذج، وتوزيعها على عدة آلات لتنفيذها بشكل متعاون، وذلك لتجاوز قيود الحساب والتخزين في الأجهزة الفردية. على الرغم من أنها تتمتع بخصائص "اللامركزية" من الناحية الفيزيائية، إلا أن النظام الكلي لا يزال تحت سيطرة مؤسسة مركزية تقوم بالتحكم في الجدولة والمزامنة، وغالبًا ما يعمل في بيئة شبكة محلية عالية السرعة، من خلال تقنية NVLink لربط الحافلات عالية السرعة، حيث يقوم العقدة الرئيسية بتنسيق المهام الفرعية بشكل موحد. تشمل الطرق الرائجة:
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، مما يشبه كيفية توجيه نفس المدير عن بُعد لموظفين في عدة "مكاتب" للتعاون في إكمال المهام. حاليًا، يتم تدريب معظم النماذج الكبيرة الرائجة تقريبًا بهذه الطريقة.
اللامركزية التدريب تمثل مسارًا مستقبليًا أكثر انفتاحًا ومقاومة للرقابة. تتمثل ميزتها الأساسية في: يمكن أن تكون عدة نقاط غير موثوقة ( مثل أجهزة الكمبيوتر المنزلية أو وحدات معالجة الرسومات السحابية أو أجهزة الحافة ) تعمل معًا لإكمال مهام التدريب دون منسق مركزي، عادةً من خلال بروتوكولات تدفع توزيع المهام والتعاون، وبمساعدة آلية تحفيز مشفرة لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:
اللامركزية التدريب يمكن فهمه على أنه: مجموعة من المتطوعين العالميين، يساهمون كل واحد منهم بقوة الحوسبة لتدريب النموذج بشكل تعاوني، ولكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، ويتعلق بهندسة النظام، بروتوكولات الاتصال، أمان التشفير، آلية الاقتصاد، والتحقق من النموذج على عدة مستويات، ولكن هل يمكن أن يكون "تعاون فعال + تحفيز صادق + نتائج صحيحة" لا يزال في مرحلة استكشاف النماذج الأولية المبكرة.
تعتبر التعلم الفيدرالي شكلًا انتقاليًا بين التوزيع واللامركزية، حيث يركز على الاحتفاظ بالبيانات محليًا، وتجمع مركزي لبارامترات النموذج، مما يجعله مناسبًا للسيناريوهات التي تركز على الامتثال للخصوصية مثل الرعاية الصحية، والمالية. يتمتع التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة على التعاون المحلي، وفي نفس الوقت يمتلك مزايا توزيع البيانات للتدريب اللامركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يتمتع بخصائص الانفتاح الكامل ومقاومة الرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في سيناريوهات الامتثال للخصوصية، حيث تكون مهام التدريب، وهيكل الثقة، وآلية الاتصال متحفظة نسبيًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.
اللامركزية تدريب الحدود، الفرص والواقع المسار
من حيث نموذج التدريب، لا يناسب التدريب اللامركزي جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، ومتطلبات الموارد العالية للغاية، أو صعوبة التعاون، فإنه ليس مناسبًا بطبيعته لإكماله بكفاءة بين العقد غير المتجانسة وغير الموثوقة. على سبيل المثال، غالبًا ما يعتمد تدريب النماذج الكبيرة على ذاكرة عالية، ووقت استجابة منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمه ومزامنته بشكل فعال في الشبكات المفتوحة؛ كما أن المهام التي تتطلب خصوصية البيانات وقيود السيادة مقيدة بالقوانين والامتثال والأخلاقيات، مما يمنع المشاركة المفتوحة؛ بينما تفتقر المهام التي تفتقر إلى حوافز التعاون إلى الدافع الخارجي للمشاركة. تشكل هذه الحدود معًا القيود الواقعية الحالية للتدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو فرضية زائفة. في الواقع، في أنواع المهام الخفيفة الهيكل، سهلة التوازي، والقابلة للتحفيز، يظهر التدريب اللامركزي آفاق تطبيق واضحة. بما في ذلك، على سبيل المثال لا الحصر: تعديل LoRA، مهام التدريب بعد المحاذاة السلوكية مثل RLHF، DPO(، تدريب وتوسيم البيانات الجماعية، تدريب النماذج الأساسية الصغيرة القابلة للتحكم في الموارد، وكذلك سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. تمتاز هذه المهام عمومًا بخصائص عالية من التوازي، وانخفاض الترابط، والتحمل لقوة حساب متباينة، مما يجعلها مناسبة جدًا للتدريب التعاوني من خلال شبكة P2P، بروتوكول Swarm، ومحسنات موزعة.
تحليل المشاريع الكلاسيكية للتدريب اللامركزي
حاليًا في مجال التدريب اللامركزي وتعلم الفيدرالية، تشمل المشاريع البارزة في مجال blockchain بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم الأنظمة والخوارزميات، وتمثل الاتجاهات الرائدة في الأبحاث النظرية الحالية؛ بينما يتمتع Gensyn وFlock.io بمسارات تنفيذ واضحة نسبيًا، ويمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية لهذه المشاريع الخمسة، ودراسة الاختلافات والعلاقات التكميلية بينها في نظام تدريب الذكاء الاصطناعي اللامركزي.
) Prime Intellect: رائد شبكة التعاون في التعلم المعزز القابل للتحقق من مسار التدريب
تسعى Prime Intellect إلى بناء شبكة تدريب AI لا تتطلب الثقة، مما يتيح لأي شخص المشاركة في التدريب والحصول على مكافآت موثوقة على مساهمته الحسابية. تأمل Prime Intellect من خلال وحدات PRIME-RL و TOPLOC و SHARDCAST الثلاثة، في إنشاء نظام تدريب AI اللامركزي الذي يتمتع بالتحقق والانفتاح وآلية تحفيز كاملة.
(# 01، هيكل بروتوكول Prime Intellect و قيمة الوحدات الرئيسية
![كأس القدر للذكاء الاصطناعي: استكشاف اللامركزية في التدريب])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp###
02، شرح آلية تدريب Prime Intellect الرئيسية
#PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفكك
PRIME-RL هو إطار نموذج المهام والتنفيذ المخصص من Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يستخدم التعلم المعزز ككائن تكيفي رئيسي، حيث يفصل هيكليًا عملية التدريب والاستدلال ورفع الأوزان، مما يسمح لكل عقدة تدريب بإكمال حلقة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات موحدة وآليات التحقق والتجميع. بالمقارنة مع عمليات التعلم الخاضعة للإشراف التقليدية، فإن PRIME-RL أكثر ملاءمة لتنفيذ التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام، ويؤسس لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.
#TOPLOC:آلية التحقق من سلوك التدريب الخفيف
TOPLOC هو آلية أساسية للتحقق من إمكانية التدريب اقترحها Prime Intellect، تُستخدم لتحديد ما إذا كانت العقدة قد أكملت حقًا تعلم استراتيجية فعالة بناءً على بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب نموذج كامل، بل يكمل التحقق الهيكلي الخفيف من خلال تحليل المسارات المحلية للتناسق بين "سلسلة المراقبة↔تحديث الاستراتيجية". إنه يحول للمرة الأولى مسارات السلوك خلال عملية التدريب إلى كائنات قابلة للتحقق، وهو الابتكار الرئيسي لتحقيق توزيع مكافآت التدريب بدون ثقة، مما يوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
#SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن
SHARDCAST هو بروتوكول لنشر الوزن وتجميعه مصمم بواسطة Prime Intellect، تم تحسينه خصيصًا لبيئات الشبكة الحقيقية التي تعاني من عدم التزامن، قيود النطاق الترددي وتغير حالة العقد. يجمع بين آلية نشر gossip واستراتيجيات التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالة عدم التزامن، مما يحقق تقاربًا تدريجيًا للوزن وتطورات متعددة النسخ. بالمقارنة مع طرق AllReduce المركزية أو المتزامنة، فإن SHARDCAST يعزز بشكل ملحوظ قابلية التوسع والقدرة على تحمل الأخطاء في التدريب اللامركزي، وهو الأساس الرئيسي لبناء إجماع الوزن المستقر والتدريب المتواصل.
#OpenDiLoCo: إطار الاتصال غير المتزامن المتناثر
OpenDiLoCo هو إطار عمل لتحسين الاتصالات تم تطويره وتنفيذه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على مفهوم DiLoCo الذي طرحته DeepMind، وقد تم تصميمه خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. يعتمد هيكله على التوازي في البيانات، من خلال بناء هياكل طوبولوجية متناثرة مثل Ring وExpander وSmall-World، مما يتجنب التكلفة العالية للتزامن العالمي في الاتصالات، ويعتمد فقط على العقد المجاورة المحلية لإكمال التدريب التعاوني للنموذج. من خلال دمج التحديثات غير المتزامنة وآلية التحمل لنقاط التوقف، يجعل OpenDiLoCo وحدات معالجة الرسومات الاستهلاكية والأجهزة الطرفية قادرة على المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير من إمكانية المشاركة في التدريب التعاوني العالمي، ويعتبر أحد البنى التحتية الأساسية للتواصل لبناء شبكة تدريب لامركزية.
#PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل اختناقات التكيف للمكتبات التقليدية في الأجهزة المتغايرة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL التوبولوجيا المتناثرة، وضغط التدرجات، والتزامن منخفض الدقة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم قدرة الاتصال غير المتزامن لبروتوكول OpenDiLoCo. إنه يعزز بشكل كبير من قدرة تحمل النطاق الترددي لشبكة التدريب وتوافق الأجهزة، ويفتح "آخر كيلومتر" من البنية التحتية للاتصال لبناء شبكة تدريب تعاونية مفتوحة حقًا وموثوقة.
(# 03، شبكة Prime Intellect والتحفيز وتقسيم الأدوار
بني Prime Intellect شبكة تدريب قابلة للتحقق وبدون إذن، مزودة بآلية حوافز اقتصادية، تسمح لأي شخص بالمشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول استنادًا إلى ثلاث فئات من الأدوار الأساسية:
تشمل العمليات الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان )SHARDCAST### وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".
![كأس القدر للعملات الرقمية: استكشاف المقدمة للتدريب اللامركزي]###https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
)# 04، INTELLECT-2: إصدار أول نموذج تدريب قابل للتحقق اللامركزية
أصدر Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز يتم تدريبه بواسطة عقد غير مركزية، لا تتطلب الثقة، بالتعاون. يصل حجم المعلمات إلى 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة GPU غير متجانسة منتشرة عبر ثلاث قارات، باستخدام بنية غير متزامنة بالكامل، واستغرقت فترة التدريب أكثر من 400 ساعة، مما يظهر قابلية وموثوقية الشبكة التعاونية غير المتزامنة. لا يمثل هذا النموذج مجرد اختراق في الأداء، بل هو أيضًا التنفيذ النظامي الأول لمفهوم Prime Intellect "التدريب هو الإجماع". يتضمن INTELLECT-2 بنية التدريب غير المتزامنة PRIME-RL(، والتحقق من سلوك التدريب TOPLOC)، وتجميع الأوزان غير المتزامنة SHARDCAST###، مما يمثل المرة الأولى التي تحقق فيها شبكة التدريب اللامركزية التدريب بشكل كامل.