حين نقول إن Orchestra نموذج عربي صغير يعمل داخل مؤسستكم، يأتي السؤال الطبيعي: صغير إلى أي حد، وبأي ثمن في الجودة؟ هذا المقال يجيب بالأرقام، ويشرح كيف قسناها، وأين تنتهي حدود ما تقوله الأرقام.

ما قسناه

شغّلنا Orchestra، وهو نموذج بـ14 مليار معامل تعمل منه 4 مليارات لكل كلمة، على ستة اختبارات متداولة: MMLU-Pro للمعرفة العامة، وGPQA Diamond للأسئلة العلمية الصعبة، وLiveCodeBench v6 للبرمجة، وHLE بدون أدوات، وTau2-Bench لمهام الوكلاء، وOALL v2 للعربية. ثم وضعنا النتائج بجانب ما نشره أصحاب ثلاثة نماذج مفتوحة أكبر: Gemma 4 بحجم 31 مليار، وQwen3.5 بحجم 27 ملياراً، وDeepSeek-V3.2 بحجم 671 ملياراً.

النتائج كاملة، مع الطريقة، على صفحة نتائج Orchestra. الخلاصة: في قياسنا بنوفمبر 2026 تقدّم Orchestra في أربعة اختبارات من ستة على النماذج الثلاثة، وجاء قريباً في الاثنين الآخرين. وفي العربية سجّل 78.41 على OALL v2.

لماذا ننشر الطريقة مع الأرقام

رقم بلا طريقة لا يساوي شيئاً. نموذج بـ4 مليارات معامل نشطة يتقدّم على نموذج بـ671 ملياراً ادعاء يستحق أن يُفحص، ومدير التقنية الذي سيشتري منا سيفحصه. لذلك تجدون على الصفحة حجم النموذج ودقة التشغيل والإعدادات. أعيدوا التجربة، وإن خرج رقم مختلف أخبرونا.

نقطة صراحة أخرى: أرقام النماذج الأخرى مأخوذة من منشورات أصحابها لا من تشغيلنا، وقد تختلف الإعدادات بينها. المقارنة العادلة الوحيدة هي أن تشغّلوا النماذج كلها بالإعدادات نفسها على أجهزتكم، وهذا ما نساعد عليه في أي تجربة.

ما الذي لا تقوله الاختبارات

  • لا تقول كيف سيقرأ النموذج عقودكم وسياساتكم. ذلك يُقاس على مستنداتكم أنتم، في عرض حي.
  • لا تقول شيئاً عن اللهجات. OALL يقيس العربية الفصحى في معظمه.
  • لا تقول كم تحتاجون من أجهزة. لذلك كتبنا دليل حساب الأجهزة منفصلاً.

إن كنتم تقيّمون نماذج عربية الآن، فابدأوا من كيف تقيّم نموذجاً لغوياً عربياً، ثم اطلبوا منا تشغيل Orchestra على عيّنة من مستنداتكم.

صفحات ذات صلة