TPU Sync، وهي مكتبة مفتوحة المصدر مكتوبة بلغة C++، تتيح نقل خبء القيم والمفاتيح وأوزان النماذج على وحدات معالجة التنسورات السحابية من غوغل المتخصصة في حساب الذكاء الاصطناعي. وفقاً لغوغل، تنخفض زمن انتقال نقل خبء القيم والمفاتيح بأكثر من 90% على نماذج الخلط بين الخبراء التي تتراوح معاملاتها بين 235 و480 مليار معامل.
تتعامل المكتبة مع ذاكرة HBM لوحدات معالجة التنسورات، وذاكرة DRAM للمضيف، والتخزين المشترك، وشبكة مركز البيانات كتسلسل ذاكرة واحد. وهي تستجيب، وفقاً للمقال، لاختناق متزايد: نقل حالة النماذج بدلاً من حسابها. تمت كتابة نواتها بلغة C++، مع حزم بايثون لـ PyTorch وJAX، ونُشر مستودعها تحت ترخيص Apache-2.0.
يُستخدم TPU Sync لغرضين: خبء القيم والمفاتيح أثناء الاستدلال، ونشر الأوزان بين المدرب والعيّن في التعلم المعزز. يعمل على وحدات معالجة التنسورات السحابية v7x (Ironwood) وv6e، وفقاً لملف README في المستودع. أُجريت المعايير على وحدات معالجة تنسورات v7x بتكوين 2x2x1، مع PCIe Gen5 وبطاقات شبكة بسعة 200 جيجابت في الثانية.
نقل مباشر بين الذواكر
تقرأ المكتبة مخازن JAX PJRT أو موترات PyTorch في مكانها، عبر الوصول المباشر للذاكرة، دون تسلسلية بايثون أو مخزن مؤقت وسيط. يمكن أن تتم عمليات النقل أثناء الحساب، ويجنب الجدولة المدمج تأخير إطلاق نوى الحساب بسبب النسخ الكبيرة. تشير غوغل إلى إمكانية وصول الإنتاجية إلى 223 جيجابايت/ثانية لكل مضيف Ironwood، مقابل سقف 256 جيجابايت/ثانية لـ PCIe Gen5. على شبكة مركز البيانات، تصل الإنتاجية إلى حوالي 192 جيجابت في الثانية مع بطاقة شبكة واحدة، وحوالي 350 جيجابت في الثانية مع بطاقتين.
في خدمة ما قبل التعبير وفك الترميز المنفصلة، يقوم عقدة ما قبل التعبير بتفريغ كتل القيم والمفاتيح إلى ذاكرة الوصول العشوائي للمضيف. ثم يقوم وحدة تحكم بتوجيهها إلى عقدة فك الترميز، حيث تصل إلى ذاكرة HBM أثناء استمرار عملية فك الترميز.
نتائج مستمدة من اختبارات داخلية
أجرت غوغل اختباراتها الداخلية في يوليو 2026، باستخدام tpu-inference v0.24.0 وJAX 0.10.2 وlibtpu 0.0.42.1، مشيرة إلى أن النتائج الفعلية ستختلف. بالنسبة لخدمة ما قبل التعبير وفك الترميز، انخفض زمن الانتقال الوسيط لنقل القيم والمفاتيح لنموذج Qwen3 235B من عدة ثوانٍ إلى حوالي 230 مللي ثانية. انخفض متوسط TTFT (الوقت حتى أول رمز مولد) بنسبة 60% للنموذج 235B و90% للنموذج 480B تحت منافسة منخفضة، بينما تحسن معدل إنتاجية الرموز بنسبة تتراوح بين 30% و70% للنموذج 235B أثناء فترات الذروة.
لخبء البادئات، زادت السعة الفعالة للخبء بمقدار رتبة مقدار عندما تشغل أوزان الخلط بين الخبراء الجزء الأكبر من ذاكرة HBM. انخفض متوسط TTFT بنسبة تصل إلى 90% على أحمال العمل ذات السياق 64K، وتحسن الإنتاج بأكثر من 50%، وانخفض زمن الانتقال بين الرموز P99 بنسبة 30%.
التكاملات والقيود
مع PyTorch، تمر المكتبة عبر TorchTPU، ومع JAX بشكل أصلي. في vLLM-TorchTPU، تشكل موصل خبء القيم والمفاتيح لوحدات معالجة التنسورات خلف واجهة KVConnector الخاصة بـ vLLM. في SGLang-TorchTPU، تعمل كواجهة خلفية لنقل ما قبل التعبير وفك الترميز ومدخلات ومخرجات الخبء الهرمي. على GKE، يستخدمها llm-d 1.0 للتوجيه القائم على تقارب خبء البادئات. شارك كل من Inferact وRadixArk في تصميم تكاملات vLLM وSGLang، وتشير غوغل إلى أن Meta وWayfair يقومان بتقييم البنية.
لا تنشر غوغل أرقاماً للتعلم المعزز، ويشير ملف README إلى أن المكتبة لا يوصى باستخدامها بشكل عام بعد. تظل وظائف التعلم المعزز والتخزين متعدد المستويات تجريبية، وجميع الأرقام معلنة ذاتياً. يقارن المقال أيضاً بين TPU Sync و NVIDIA Dynamo KVBM + NIXL وLMCache وMooncake، مشيراً إلى أن أرقام النطاق الترددي الخاصة بهم لا تقيس المسارات نفسها: مسار TPU Sync يتوافق مع DMA PCIe للمضيف، بينما يتوافق مسار Mooncake مع نقل شبكة على RoCE.
