حرب معايير تقييم نماذج اللغة الكبيرة: لماذا أصبحت لوحات تصنيف الذكاء الاصطناعي معطوبة

الرقم الذي أطلق ألف بيان صحفي

عندما يُطلق نموذج لغوي كبير جديد في 2026، يتبع الإعلان صيغة متوقعة: تدوينة، وتقرير تقني، وجدول بنتائج المعايير مصمم لإثبات أن هذا النموذج يتفوق على المنافسة. GPT-5 مقابل Claude Opus 4.6 مقابل Gemini 3.1 Pro مقابل Llama 4 405B — كل منهم يدّعي التفوق، وكل منهم يستشهد بمعايير مختلفة، وكل منهم ينتقي المقاييس التي يتفوق فيها.

تعاني صناعة الذكاء الاصطناعي من مشكلة في القياس. المعايير التي صُممت لتتبع التقدم العلمي تحولت إلى أدوات تسويقية. النتائج التي كان من المفترض أن تحدد نقاط ضعف النماذج تُستخدم بدلاً من ذلك لإعلان الفائزين. والمليارات من الدولارات المتدفقة نحو قرارات نشر الذكاء الاصطناعي تتأثر بمواقع في لوحات التصنيف تقيس في كثير من الأحيان الأشياء الخاطئة.

فهم لماذا المعايير معطوبة — وما الذي يجب استخدامه بدلاً منها — أصبح الآن كفاءة حاسمة لأي مؤسسة تقيّم أنظمة الذكاء الاصطناعي.

المعايير الرئيسية: دليل ميداني

MMLU وMMLU-Pro

أصبح معيار Massive Multitask Language Understanding (MMLU)، الذي قدمه Dan Hendrycks وآخرون في 2020 ونُشر في ICLR 2021، المعيار الفعلي لقياس ذكاء نماذج اللغة الكبيرة. يتكون من 15,908 سؤال اختيار من متعدد عبر 57 مادة أكاديمية من الرياضيات الأساسية إلى القانون والطب المهنيين.

MMLU مُشبَع فعليًا في 2026. GPT-5 يحقق حوالي 91%، وClaude Opus 4.6 يحقق حوالي 91%، وGemini 3 Pro يحقق حوالي 92%. جميع النماذج الرائدة تتجمع فوق 90%، مع فروقات ضمن هامش الضوضاء — مما يجعل نتائج MMLU شبه عديمة المعنى لمقارنة النماذج. MMLU-Pro، نسخة أصعب تضم أكثر من 12,000 سؤال و10 خيارات إجابة بدلاً من 4، قُدمت في NeurIPS 2024 لتمديد العمر المفيد للمعيار، لكن حتى MMLU-Pro يُظهر تأثيرات السقف بداية 2026، مع تجاوز أفضل النماذج 85% — بما في ذلك Gemini 3 Pro وClaude Opus 4.5 (Reasoning) اللذان يحققان حوالي 89-90%.

LMSYS Chatbot Arena

يستخدم LMSYS Chatbot Arena، الذي طوره LMSYS وباحثون من UC Berkeley SkyLab وأُطلق في مايو 2023، نهجًا مختلفًا: مصوتون بشريون يقارنون مخرجات نماذج مجهولة الهوية جنبًا إلى جنب ويصوتون للاستجابة الأفضل. نظام تصنيف Bradley-Terry — مشابه مفاهيميًا لتصنيفات Elo في الشطرنج — يرتب النماذج بناءً على آلاف المقارنات الثنائية.

الArena هو أقرب ما يملكه المجال إلى معيار “واقعي”، لأنه يقيس التفضيل البشري على مهام مفتوحة بدلاً من دقة الاختيار من متعدد. لكنه يعاني من قيود كبيرة: التركيبة السكانية للمصوتين تميل نحو عشاق التكنولوجيا الناطقين بالإنجليزية، والمهام المقدمة منحازة نحو الكتابة الإبداعية والبرمجة (وليس حالات الاستخدام المؤسسية)، والنظام عرضة للتلاعب.

HumanEval وSWE-bench

لتوليد الأكواد، يُعد HumanEval (164 مسألة برمجة بلغة Python) وSWE-bench (مشكلات حقيقية من GitHub تتطلب تعديلات على ملفات متعددة) المعيارين القياسيين. HumanEval مُشبَع — أفضل النماذج تجتاز أكثر من 95% من المسائل، مع وصول نماذج O1 إلى 96.3%. SWE-bench Verified، الذي يتطلب من النماذج حل مشكلات هندسة برمجية حقيقية من مستودعات مفتوحة المصدر، لا يزال تحديًا حقيقيًا لكنه يُقتحم بسرعة: أفضل الوكلاء يحلون الآن حوالي 75-80% من المشكلات المُتحقق منها في فبراير 2026، مقارنة بحوالي 50% قبل عام فقط.

GPQA (أسئلة وأجوبة على مستوى الدراسات العليا مقاومة لـ Google)

يتكون GPQA من 448 سؤالاً على مستوى الخبراء في البيولوجيا والفيزياء والكيمياء، مصممة لتكون صعبة جدًا بحيث لا يحقق حتى خبراء المجال سوى ~65% دقة عند الإجابة عن أسئلة خارج تخصصهم. GPQA Diamond، مجموعة فرعية من 198 سؤالاً عالي الجودة، شهد تقدمًا استثنائيًا: أفضل نماذج اللغة الكبيرة تحقق الآن أكثر من 90% — مع وصول Gemini 3.1 Pro إلى 94.1% — متجاوزة دقة الخبراء البشريين. يمثل هذا قفزة هائلة من 39% فقط في أواخر 2023، مما يجعل GPQA Diamond معيارًا آخر يقترب من الإشباع أسرع بكثير مما كان متوقعًا.

ARC-AGI

يختبر Abstraction and Reasoning Corpus (ARC) من François Chollet نوع الذكاء السائل والتعرف على الأنماط الجديدة الذي عانت نماذج اللغة الكبيرة معه تاريخيًا. على عكس المعايير اللغوية، يقدم ARC ألغازًا بصرية تتطلب استنتاج قواعد مجردة من أمثلة قليلة. بداية 2026، تحقق أفضل أنظمة الذكاء الاصطناعي حوالي 25-40% على ARC-AGI-2 (مع تحقيق Claude Opus 4.5 نسبة 37.6% كأفضل نموذج تجاري مُتحقق منه)، مقارنة بحوالي 60-77% للمشاركين البشريين العاديين — مما يجعل ARC-AGI-2 واحدًا من أهم الفجوات المتبقية بين الذكاء البشري والآلي.

لماذا تفشل المعايير: خمس مشكلات نظامية

1. التلوث وتسرب البيانات

المشكلة الأكثر تآكلاً في تقييم الذكاء الاصطناعي هي تلوث بيانات التدريب: تسرب أسئلة المعايير إلى بيانات تدريب النماذج. إذا رأى نموذج أسئلة الاختبار أثناء التدريب، فإن نتيجته تقيس الحفظ، وليس القدرة.

حجم التلوث مذهل. أبحاث من AI2 وجامعة Washington، قُدمت في EMNLP 2025، كشفت أن معايير تقييم نماذج اللغة الكبيرة الرئيسية ملوثة بشدة في مجموعات التدريب المأخوذة من الإنترنت — بمعدلات تلوث تصل إلى 74% في بعض مجموعات البيانات (مثل GSM8K) و40% في أخرى (مثل AIME-2024). ونظرًا لأن جميع النماذج الرائدة تقريبًا تتدرب على بيانات مستخرجة من الويب، فإن هذا التلوث يؤثر بشكل غير مباشر على جميع عائلات النماذج الرئيسية.

2. إشباع المعايير

عندما تحقق أفضل النماذج أكثر من 90% على معيار ما، يتوقف المعيار عن تقديم إشارة مفيدة. الفرق بين 91% و93% على MMLU لا يخبرك بشيء تقريبًا عن أي نموذج أفضل لأي مهمة عملية. ومع ذلك، تعامل البيانات الصحفية والتغطية الإعلامية هذه الفروقات الطفيفة كانتصارات ذات معنى.

3. التحسين للاختبار، وليس للمهارة

ينطبق قانون Goodhart — “عندما تصبح المقياس هدفًا، يتوقف عن كونه مقياسًا جيدًا” — بالكامل على معايير الذكاء الاصطناعي. يحسّن مطورو النماذج صراحةً أداء المعايير أثناء التدريب والضبط الدقيق. النتيجة: نماذج ممتازة في اجتياز الاختبارات لكنها مخيبة أحيانًا في الممارسة.

4. الاختزال إلى نتيجة واحدة

اختزال قدرات نموذج إلى موقع واحد في لوحة تصنيف يُلغي الفروق الدقيقة الحاسمة. نموذجان بنتائج MMLU متطابقة قد يملكان نقاط قوة مختلفة جذريًا. حالات الاستخدام المؤسسية محددة — لا يوجد معيار واحد يلتقط الملاءمة لأي مهمة بعينها.

5. أزمة إعادة الإنتاج

نتائج المعايير غالبًا غير قابلة لإعادة الإنتاج عبر أطر تقييم مختلفة. نموذج يحقق 88% على MMLU بقالب prompt معين قد يحقق 84% بآخر. إعدادات الحرارة والأمثلة القليلة وحتى ترتيب خيارات الاختيار من متعدد يمكن أن تحرك النتائج عدة نقاط مئوية.

ما يهم حقًا: التقييم على مستوى المؤسسات

المؤسسات التي تتخذ قرارات نشر حقيقية في 2026 تتجاهل بشكل متزايد المعايير العامة وتبني أطر تقييمها الخاصة. أفضل الممارسات الناشئة هي مكدس تقييم من ثلاث طبقات:

الطبقة 1 — تقييمات خاصة بالمجال. ابنِ مجموعة اختبار من 200 إلى 500 مثال مستمدة من حالة استخدامك الفعلية. هذا هو التقييم الأكثر تنبؤًا بنجاح النشر.

الطبقة 2 — اختبار الاختراق وتحليل أنماط الفشل. بدلاً من قياس عدد مرات الإجابة الصحيحة، قِس كيف يفشل النموذج. أنماط فشل النموذج أهم من معدلات نجاحه للنشر الحساس.

الطبقة 3 — تقييم التفضيل البشري. للمهام ذات الجودة الذاتية، المقارنة العمياء بين الأزواج من قبل خبراء المجال تقدم الإشارة الأكثر موثوقية.

المعايير الناشئة: نحو قياس أفضل

مجتمع تقييم الذكاء الاصطناعي ليس خاملاً. عدة مبادرات تعمل على إصلاح أزمة المعايير:

HELM من Center for Research on Foundation Models في Stanford يقيّم النماذج عبر عشرات السيناريوهات ببروتوكولات موحدة، قائسًا ليس فقط الدقة بل أيضًا المعايرة والإنصاف والمتانة والكفاءة.

SEAL Leaderboards من Scale AI تقدم معايير خاصة ومُحدَّثة بانتظام حيث أسئلة الاختبار غير متاحة للعموم — مما يعالج مشكلة التلوث مباشرة.

AI Security Institute (AISI) في المملكة المتحدة (أُعيدت تسميته من AI Safety Institute في فبراير 2025) ونظيره الأمريكي يطوران أطر تقييم مدعومة حكوميًا تركز على القدرات الحرجة أمنيًا. أطلق AISI أداة Inspect مفتوحة المصدر المستخدمة الآن عالميًا.

BIG-Bench Hard (BBH) أصبح مُشبَعًا إلى حد كبير، وقدم Google DeepMind BIG-Bench Extra Hard (BBEH) المنشور في ACL 2025 كخليفة أصعب بكثير.

التأثير السوقي: المعايير كأسلحة تنافسية

الرهانات المالية لتموضع المعايير هائلة. يستخدم عملاء المؤسسات نتائج المعايير كمرشحات أولية عند تقييم موردي الذكاء الاصطناعي. النموذج الذي يتصدر LMSYS Arena أو يدّعي أعلى نتيجة MMLU يدخل في مزيد من محادثات الشراء. يستخدم المستثمرون أداء المعايير كبديل للتقدم التقني.

هذا يخلق حوافز منحرفة. قد تبطئ سباق التسلح في المعايير التقدم العملي للذكاء الاصطناعي بإعادة توجيه الجهود نحو التلاعب بالقياس بدلاً من تحسين القدرات الحقيقية.

العلامة الأكثر صحة في مشهد الذكاء الاصطناعي لعام 2026 هي العدد المتزايد من المؤسسات التي توقفت عن السؤال “أي نموذج لديه أعلى نتيجة معيارية؟” وبدأت تسأل “أي نموذج يعمل بشكل أفضل على مهمتنا المحددة، مع بياناتنا، في بيئة نشرنا؟” هذا السؤال لا يمكن الإجابة عليه من لوحة تصنيف.

الأسئلة الشائعة

المصادر والقراءات الإضافية

• MMLU — Measuring Massive Multitask Language Understanding, Hendrycks et al.
• MMLU-Pro — A More Robust and Challenging Benchmark
• LMSYS Chatbot Arena
• SWE-bench — Resolved Real-World GitHub Issues
• GPQA — Graduate-Level Google-Proof Q&A
• ARC-AGI — Abstraction and Reasoning Corpus
• HELM — Holistic Evaluation of Language Models, Stanford CRFM
• SEAL Leaderboards — Scale AI
• UK AI Security Institute — Evaluation Framework
• BIG-Bench Extra Hard (BBEH) — Google DeepMind
• Benchmark Contamination in Internet Corpora — EMNLP 2025