TurboQuant: كيف يُقلّص خوارزمية ذاكرة التخزين المؤقت KV من Google تكاليف استنتاج النماذج اللغوية الكبيرة

جدار الذاكرة الذي يُقيّد نشر النماذج اللغوية الكبيرة

في كل مرة تعالج فيها نموذج لغوي كبير محادثةً أو مستنداً طويلاً، يبني ذاكرة تخزين مؤقت للمفتاح-القيمة (KV) — ذاكرة متراكمة لجميع الرموز السابقة يستشيرها آلية الانتباه لتوليد كل رمز جديد. على نطاق الإنتاج، تُشكّل هذه الذاكرة قيداً جوهرياً: نموذج كـ Llama 3.1 8B يعالج سياقاً من 128K رمز يمكنه توليد ذاكرة تخزين KV تستهلك 40 جيجابايت من ذاكرة GPU، متجاوزةً في الغالب البصمة الذاكرية لأوزان النموذج نفسه.

تتحكم هذه البصمة الذاكرية مباشرةً في اقتصاديات النشر. يستطيع GPU واحد NVIDIA H100 بذاكرة HBM تبلغ 80 جيجابايت خدمة عدد أقل من المستخدمين المتزامنين — ونوافذ سياق أقصر — عندما تستهلك ذاكرة التخزين المؤقت KV جزءاً كبيراً من هذه السعة. تحدّد أبحاث البنية التحتية للذكاء الاصطناعي من 2026 اختناق ذاكرة التخزين المؤقت KV بوصفه أحد الحواجز البنيوية الرئيسية أمام نشر نماذج السياق الطويل بتكلفة تجارية مجدية. الحوسبة (FLOPS) تطوّرت أسرع من عرض النطاق الترددي للذاكرة — هذا هو الخلل المعماري الذي يعالجه TurboQuant مباشرةً.

الاستجابة المعتادة لمشكلة ذاكرة التخزين المؤقت KV هي الأجهزة: المزيد من GPU، ومجمعات ذاكرة أكبر، والاستنتاج الموزّع عبر مسرّعات متعددة. يسلك TurboQuant المسار البرمجي: إذا أمكن تخزين قيم الذاكرة بدقة أدنى دون خسارة ملموسة في الدقة، تنكمش متطلبات الذاكرة دون استثمار مادي إضافي. كان السؤال هو ما إذا كان يمكن إبقاء تخفيض الدقة صغيراً بما يكفي ليكون مقبولاً. جواب Google هو 3 بتات — مستوى من الضغط كان معظم الباحثين يعتبرونه غير متوافق مع الحفاظ على جودة النموذج.

ما يفعله TurboQuant وكيف يحقق ضغط 6×

يُطبّق TurboQuant مخطط ضغط كمي غير متماثل على ذاكرة التخزين المؤقت KV يُقلّص كل قيمة مخزنة من التمثيل القياسي بالفاصلة العائمة 16 بت (FP16) إلى 3 بتات. نسبة الضغط تبلغ نحو 5.3× على عدد البتات الخام، مما يُنتج تخفيض الذاكرة الملاحظ بمعامل 6× عند احتساب تكاليف التخزين.

لا تتطلب التقنية إعادة تدريب النموذج ولا بيانات معايرة — تُطبَّق أثناء الاستنتاج باستخدام أوزان النموذج القائمة. هذه الخاصية هي ما يجعلها تحسيناً plug-and-play: أي نشر إنتاجي يستخدم معمارية transformer يمكنه إضافة TurboQuant دون لمس النموذج نفسه، ودون جمع بيانات معايرة، ودون تعديل خط أنابيب التدريب. حاجز التبني ضئيل.

تأثير الارتباك — أقل من 0.5% تغيّر — هو النتيجة المفاجئة تقنياً. الارتباك هو المقياس المعياري لجودة النموذج اللغوي؛ زيادة بنسبة 0.5% تقع ضمن ضوضاء تباين التقييم الطبيعي وأدنى من العتبة التي يستطيع المقيّمون البشريون اكتشافها في جودة المخرجات. تُشير تغطية تطوير الذكاء الاصطناعي في مايو 2026 إلى أن تحسين سرعة الانتباه على H100 — حتى 8× في حساب الانتباه تحديداً — ينبع من انخفاض عرض النطاق الترددي للذاكرة المطلوب لتحميل قيم ذاكرة التخزين المؤقت أثناء الانتباه، وهي عملية مقيّدة بعرض النطاق الترددي للذاكرة في معماريات GPU الحالية.

تحسين 8× في سرعة الانتباه لا يتحول إلى تحسين 8× في الإنتاجية الإجمالية، لأن الانتباه مجرد مكوّن واحد في مسار الاستنتاج الكامل. لكن لأحمال العمل ذات السياق الطويل حيث الانتباه على ذاكرة KV الكاملة هو التكلفة الحسابية المهيمنة — تحليل المستندات، والمحادثة متعددة الأدوار، والتوليد المعزّز بالاسترجاع على مجموعات بيانات ضخمة — يكون تسريع الانتباه متناسباً مباشرةً مع تخفيض زمن الاستجابة الإجمالي لتلك الأحمال تحديداً.

ما يعنيه ذلك لفرق البنية التحتية للذكاء الاصطناعي

1. تعامل مع TurboQuant كتخفيض تكلفة متاح الآن، لا بنداً مستقبلياً في خارطة الطريق

خاصية “بلا إعادة تدريب وبلا معايرة” تعني أنه يمكن نشر TurboQuant على أي نموذج لغوي كبير إنتاجي قائم دون تنسيق مع فريق التدريب، ودون مراجعة حوكمة البيانات لمجموعات المعايرة، ودون اختبار انحدار على نموذج مُعدَّل. مسار النشر هو: تطبيق الضغط الكمي على بيئة تشغيل الاستنتاج، وتشغيل معايير الإنتاج على حمل عملك المحدد، والتحقق من أن تأثير الارتباك أدنى من عتبة الجودة لديك، ثم الشحن. لمعظم أحمال العمل الإنتاجية، هذا تكامل يستغرق أياماً إلى أسابيع، لا مشروعاً يمتد لأشهر.

الاقتصاديات على النطاق الواسع جوهرية. نشر يُشغّل 100 مستخدم متزامن بنوافذ سياق 64K رمز على H100 واحد يمكنه، بتخفيض الذاكرة 6×، التوسع إلى نحو 600 مستخدم متزامن على الأجهزة ذاتها — تحسين إنتاجية بمعامل 6× دون إنفاق رأسمالي. الرقم الفعلي يعتمد على توزيع أحمال العمل وتشرذم الذاكرة، لكن الحجم الصحيح.

2. إعادة معايرة افتراضيات تدبير الأجهزة

النموذج الكلاسيكي لتدبير GPU لنشر النماذج اللغوية هو: عندما تحتاج مزيداً من السعة، اشترِ مزيداً من GPU. يُدخل TurboQuant خياراً ثالثاً بين شراء الأجهزة وقبول قيود السعة: ضغط ذاكرة التخزين المؤقت KV وخدمة مزيد من المستخدمين على الأجهزة القائمة. الفرق يجب تحليله تبعاً لحمل العمل: للمهام كثيفة الاستدلال حيث جودة توليد النموذج عند كل رمز في غاية الأهمية، يجب قياس تغيّر 0.5% في الارتباك على توزيع مهامك المحدد. للتصنيف والتلخيص ومهام الاستخراج حيث يُقيَّد المخرج ببنية المهمة لا بالتوليد المفتوح، نادراً ما يؤثر تغيّر الارتباك على جودة المخرجات.

3. بناء خط أنابيب تقييم يتتبع مقاييس كفاءة الاستنتاج إلى جانب الدقة

يُظهر مشهد أبحاث كفاءة الذكاء الاصطناعي 2026 تحولاً بنيوياً نحو تقنيات تُعطي الأولوية لكفاءة الاستنتاج: الضغط الكمي، والترميز التخميني، والانتباه المتفرق، واستراتيجيات التخزين المؤقت. الفرق التي تُقيّم جودة النموذج حالياً على مقاييس الدقة فحسب — الارتباك، ودرجات المعايير، والتقييمات البشرية — تفوّت نصف صورة النشر. اختيار النموذج في الإنتاج بات يستلزم تحسيناً مشتركاً عبر مقاييس الجودة واقتصاديات الاستنتاج.

بناء خط أنابيب تقييم يتتبع في الوقت ذاته الرموز في الثانية، والذاكرة لكل طلب، والتكلفة لكل 1K رموز، ومقاييس الجودة يمنح فرق الهندسة البيانات اللازمة لاتخاذ قرارات اختيار نموذج مستنيرة عند وصول التقنية التالية لكفاءة (بعد TurboQuant). تلك التقنية على الأرجح قيد البحث بالفعل — ذاكرة التخزين المؤقت KV ليست الاختناق الوحيد.

التحوّل البنيوي الذي يُشير إليه TurboQuant

TurboQuant ليس تقنية معزولة — بل نقطة بيانات في تحوّل أوسع في كيفية إعطاء مجتمع أبحاث الذكاء الاصطناعي الأولوية لتطوير النماذج اللغوية. من 2020 إلى 2024، كان الباراديم السائد هو الضخامة: نماذج أكبر، معاملات أكثر، بيانات تدريب أضخم، حوسبة أوسع. وقد صمدت قوانين التوسع التي تنبأ بها Kaplan وزملاؤه على مدى رتب قياسية متعددة.

في 2025 و2026، تحوّلت حدود الإنتاجية. النماذج الأساسية القائمة ذات كفاءة كافية لمعظم مهام الإنتاج. العامل المُقيِّد لنشرها على النطاق التجاري ليس قدرة النموذج — بل تكلفة الاستنتاج، وكفاءة الذاكرة، وزمن الاستجابة، وتعقيد النشر. يُمثّل TurboQuant، إلى جانب تقنيات الضغط الكمي كـ GPTQ وAWQ لأوزان النماذج، والترميز التخميني لسرعة التوليد، المرحلة التي تُقدّم فيها الكفاءة على أي اعتبار آخر في تطوير النماذج اللغوية.

لهذا التحوّل تداعية مباشرة على ديناميكيات التنافس: الشركات التي تستطيع خدمة مزيد من المستخدمين بتكلفة أقل لكل استعلام — بتطبيق تقنيات الكفاءة على النماذج الأساسية ذاتها التي يستخدمها المنافسون — تمتلك ميزة بنية تحتية مستقلة عن جودة النموذج. بجودة متكافئة، 6× أقل من GPU يعني 6× أقل في تكلفة البنية التحتية. هذه البنية التكلفية تتضاعف على نطاق واسع.

الأسئلة الشائعة

المصادر والقراءات الإضافية

• 10 اتجاهات وتقنيات ذكاء اصطناعي تُشكّل البحث في 2026 — MIT Technology Review
• إنجازات تقنية في الذكاء الاصطناعي مايو 2026 — DevFlokers
• تحديثات الذكاء الاصطناعي مايو 2026 — IMFounder
• لماذا الجزائر في موقع يؤهلها لقيادة الذكاء الاصطناعي في أفريقيا الشمالية — New Lines Institute