نتائج Orchestra على الاختبارات القياسية
نموذج بحجم 14 مليار معامل، تعمل منه 4 مليارات لكل كلمة، على ستة اختبارات معروفة. الأرقام أدناه من قياسنا، بالإعدادات المذكورة في قسم الطريقة، حتى يعيد فريقكم التجربة على أجهزته.
النتائج
| الاختبار | Orchestra 14 مليار، مزيج خبراء، 4 مليارات نشطة |
Gemma 4 31B كثيف |
Qwen3.5-27B كثيف |
DeepSeek-V3.2 671 مليار، مزيج خبراء |
|---|---|---|---|---|
| MMLU-Pro | 88.3 | 85.2 | 86.1 | 85.0 |
| GPQA Diamond | 85.3 | 84.3 | 85.5 | 82.4 |
| LiveCodeBench v6 | 83.0 | 80.0 | 80.7 | 83.3¹ |
| HLE، بدون أدوات | 27.4 | 19.5 | 24.3 | 25.1 |
| Tau2-Bench | 83.9 | 76.9 | 79.0 | 80.3 |
| OALL v2 (عربي) | 78.41 | — | — | — |
أرقام Orchestra من قياس نوراي في نوفمبر 2026. أرقام النماذج الأخرى كما نشرها أصحابها (بطاقة Gemma 4، ورقة DeepSeek-V3.2، بيان TII). ¹ نافذة LiveCodeBench لدى DeepSeek من أغسطس 2024 إلى أبريل 2025. للمقارنة في العربية: Falcon-H1-Arabic 34B سجّل 75.36 على OALL v2 بحسب بيان TII.
كيف قسنا
- النموذج: Orchestra، 14 مليار معامل بمزيج خبراء، 4 مليارات نشطة لكل كلمة، يُخدَّم بدقة 8 بت.
- التشغيل: نوفمبر 2026، على أجهزة نوراي. وضع التفكير مفعّل ما لم يُذكر غير ذلك؛ HLE بدون أدوات.
- الاختبارات: MMLU-Pro، وGPQA Diamond، وLiveCodeBench v6، وHLE، وTau2-Bench، وOALL v2 للعربية.
- أرقام المقارنة: الأرقام المنشورة من أصحاب النماذج، لا من تشغيلنا، وقد تختلف إعداداتها عن إعداداتنا.
ما الذي تعنيه هذه الأرقام وما لا تعنيه
الاختبارات القياسية تقيس أسئلة محددة في ظروف محددة. هي مؤشر جيد على القدرة العامة، وليست وعداً بالأداء على مستنداتكم أنتم. لذلك نعرض Orchestra دائماً على بيانات العميل نفسه قبل أي قرار، ونرحّب بأن يعيد فريقكم هذه الاختبارات بالإعدادات أعلاه. وإن خرج رقم مختلف، أخبرونا.
الحجم مهم أيضاً: 4 مليارات معامل نشطة لكل كلمة تعني أن النموذج يعمل على جزء من الأجهزة التي تحتاجها النماذج الكثيفة في المقارنة. راجع دليل حساب الأجهزة، أو كيف تقيّم نموذجاً عربياً على بياناتك.