لم تعد التدريبات الكبيرة للذكاء الاصطناعي تقتصر على مركز بيانات واحد. قامت كل من جوجل ومايكروسوفت وAWS وميتا وCoreWeave بالفعل بتوسيع عملياتها الحسابية عبر مواقع متعددة، مما يضع الشبكة التي تربط هذه المواقع في صميم الأداء. في مقال برعاية سيسكو، نشرته The Next Platform، تشرح الشركة تحديات هذه البنية، المسماة «scale-across».
أشارت جوجل إلى أن جيميني تم تدريبه بشكل متزامن على مجموعات حاسوبية موجودة في عدة مواقع. ربطت مايكروسوفت مراكز بيانات في ولاية ويسكونسن وجورجيا لتصنع، حسب تعبيرها، حاسوبًا فائقًا موزعًا للذكاء الاصطناعي. ربطت AWS مجموعات حوسبة عبر مناطق واسعة لتمكين Anthropic من تطوير نماذج Claude الخاصة بها. بنت ميتا وصلات بينية عالية السعة لمراكز البيانات، بينما أعلنت CoreWeave وجوجل كلاود عن تدريب بين السحابات يعتمد على وصلة بينية خاصة، ومن المتوقع أن تتبعها Azure لاحقًا هذا العام.
يُفسر هذا التوزيع الجغرافي جزئيًا بحدود مراكز البيانات المعزولة، حيث يمكن أن تصل قدرتها الكهربائية ومساحتها إلى حد التشبع. تقدر سيسكو أن تدريب النماذج الحالية قد يتطلب مجموعات تضم عشرات الآلاف من وحدات معالجة الرسومات (GPU). بحلول عام 2030، وفقًا لباحثين من Epoch AI، قد تستهلك أكبر تدريبات النماذج المتطورة 4-16 جيجاواط من الكهرباء. لذا فإن توزيع الحساب يسمح بالبناء في أماكن تتوفر فيها كهرباء أو مساحة أكبر.
شبكة تتحول إلى عنق زجاجة
في قلب نموذج اللغة الكبير (LLM) توجد شبكة عصبية تضم مليارات المعاملات، أو الأوزان، التي يتم ضبطها أثناء التدريب. تقوم وحدات معالجة الرسومات بمعالجة كل منها جزءًا من البيانات أو النموذج، لكنها يجب أن تتبادل نتائجها وتتزامن بشكل دوري قبل الانتقال إلى الخطوة التالية. إنها في الغالب أحجام كبيرة من البيانات الرقمية، مثل التدرجات، التي تنتقل عبر الشبكة. «إذا نظرت إلى أي تدريب، فهو في الأساس تكرار للحساب والمزامنة»، كما يشرح راميش سيفاكولوندو من فريق هندسة Silicon One في سيسكو. تنتج هذه التبادلات اندفاعات من حركة المرور، والتي يمكن أن تسبب ظواهر «incast»، عندما تتجه العديد من المرسلات نحو نفس الوجهة.
في التدريب المتزامن، لا يمكن لمجموعة من وحدات معالجة الرسومات تجاهل مجموعة أبطأ. وبالتالي يتحول التأخير الشبكي إلى تأخير حسابي. يلخص سيفاكولوندو الهدف: «أنت لا تريد أن تكون الشبكة هي عنق الزجاجة في التدريب.» فقدان الحزمة لا يوقف بالضرورة التدريب بأكمله، ولكنه قد يفرض إعادة إرسال ويترك مسرعات أخرى في انتظار.
وصلة بينية من نوع مختلف
«داخل مركز بيانات واحد، يمكنك افتراض أن لديك شبكة كاملة تربط أرفف وحدات معالجة الرسومات، مع النطاق الترددي المخطط له»، كما يقول إيتامار جولد، مدير إدارة المنتجات في سيسكو. بين موقعين، يمكن توجيه حركة المرور عبر قناة أضيق، والتي قد تصبح نقطة ازدحام مؤقتة. الوصلات البينية التقليدية بين مراكز البيانات، المسماة DCI، تخدم في المقام الأول التكرار وتوزيع الأحمال، مع تدفقات غير متزامنة. بينما يجعل النموذج scale-across الشبكة بين المواقع جزءًا من الحساب الموزع نفسه.
وفقًا لسيسكو، على نطاق واسع، يمكن أن يصل النطاق الترددي المطلوب إلى حوالي 14 ضعفًا مقارنة بقاعدة DCI التقليدية. قد يتطلب موقعان بقدرة 100 ميجاوات ما بين 12000 و32000 منفذ بصري متماسك على مستوى scale-across، مقارنة بحوالي 1000 إلى 2000 لـ DCI تقليدية بين منشآت مماثلة. تفرض هذه المسافات استخدام تقنيات بصرية متماسكة، قادرة على الحفاظ على إشارات بسرعة 400 أو 800 جيجابت/ثانية عبر شبكات الألياف الضوئية الحضرية أو الإقليمية.
الكمون والذاكرة المؤقتة
تضيف المسافة أيضًا كمونًا: يستغرق إشارة الازدحام وقتًا أطول للعودة إلى المرسل. تحسب سيسكو أنه على اتصال بسرعة 800 جيجابت/ثانية يمتد لمسافة 100 كيلومتر، يمكن أن يكون حوالي 100 ميجابايت من البيانات قيد النقل خلال هذه الفترة. لامتصاص هذه الاندفاعات، تدافع الشركة عن رقائق توجيه بذاكرة مؤقتة عميقة. «كلما زادت المسافة، كلما احتجت إلى ذاكرة مؤقتة عميقة، لأنك لا تتلقى ردًا بشأن نقل الحزم لفترة أطول»، كما يشرح سيفاكولوندو.
تسلط سيسكو الضوء على معالج التوجيه القابل للبرمجة Silicon One P200 الخاص بها، بسعة 51.2 تيرابت/ثانية، والمدمج في منصتي Cisco 8223 وCisco N9000. وفقًا للشركة، يقلل حل Open Transport 3000 من استهلاك الطاقة لكل قناة بنسبة 75% ومن المساحة في الرف بنسبة 80%، وهي أرقام تقدمها سيسكو. يلخص جولد الوضع: «نرى اليوم النشرات الأولى، لكنها عملية أعتقد أنها ستستغرق بضع سنوات.»
