كل مورّد يعرض نتائج على اختبارات منشورة، وكلها تقريباً تقيس الفصحى المكتوبة بعناية. لكن عملاءك يكتبون بلهجاتهم، ويخلطون العربية بالإنجليزية، ويسألون عن منتجاتك أنت. النتيجة المنشورة لا تخبرك كيف سيتعامل النموذج مع هذا. الطريقة الوحيدة الموثوقة أن تختبره على بياناتك قبل الشراء. هذه ست خطوات عملية لفعل ذلك، تصلح لأي مورّد، ومنهم نحن.

  1. 1ابنِ مجموعة الاختبار من محادثاتك الحقيقية
  2. 2حدّد معايير النجاح قبل رؤية النتائج
  3. 3قيّم دون معرفة النموذج، بمقيّمين من أهل اللهجات
  4. 4حاول كسره عمداً
  5. 5اختبر على أجهزتك وبحجم استخدامك
  6. 6شغّله بالتوازي قبل الانتقال
هل تجاوز حدود النجاح التي حددتها؟
نعم: انتقل إليه
لا: أصلحه قبل أن يراه عملاؤك
ست خطوات على بياناتك أنت، والقرار يُحسم بمعايير كُتبت قبل الاختبار.

١. ابنِ مجموعة الاختبار من محادثاتك الحقيقية

اجمع بضع مئات من الرسائل الحقيقية من قنواتك، بعد إزالة البيانات الشخصية، بكل اللهجات التي يكتب بها عملاؤك فعلاً، ومعها الرسائل المختلطة والأخطاء الإملائية. أضف الأسئلة الصعبة: ما يجب أن يرفضه النظام، وما لا توجد له إجابة في مستنداتك. احتفظ بهذه المجموعة لديك ولا تسلّمها للمورّد قبل الاختبار.

٢. حدّد معنى «جيد» قبل أن تبدأ

اكتب معايير النجاح قبل رؤية أي نتيجة: هل الإجابة صحيحة وفق مستنداتك؟ هل يذكر المصدر؟ هل يرفض ما يجب رفضه؟ هل يرد باللهجة المناسبة أو بالفصحى حسب سياستك؟ وحدّد عتبة النجاح لكل معيار. المعايير التي تُكتب بعد رؤية النتائج تميل لتبرير ما رأيته.

٣. قيّم بشكل أعمى، بمتحدثين أصليين

اعرض الإجابات على مقيّمين من متحدثي اللهجات المعنية دون أن يعرفوا أي نموذج كتبها. مقيّم من الرياض يلاحظ ما لا يلاحظه غيره في النجدية، ومقيّم من القاهرة كذلك في المصرية. وإن استخدمت نموذجاً آلياً للتقييم، فتحقق من أحكامه على عينة بشرية أولاً.

٤. حاول أن تكسره عمداً

قبل الإطلاق، خصص جلسة لمحاولة إخراج النظام عن سياسته: طلبات خارج نطاقه، ومحاولات لجعله يكشف بيانات لا يحق للسائل رؤيتها، وأسئلة استفزازية بلهجات مختلفة. سجّل ما نجح منها، واطلب من المورّد إصلاحه قبل التوقيع.

٥. اختبر على أجهزتك وبحجم استخدامك

نموذج ممتاز في عرض تجريبي قد يكون بطيئاً تحت ضغط مركز اتصال حقيقي. شغّل الاختبار على البنية التي ستعمل عليها فعلاً، وبعدد المستخدمين المتزامنين المتوقع، وقِس زمن الاستجابة الذي يراه العميل.

٦. شغّله بالتوازي قبل الانتقال

قبل أن يرد النظام على العملاء مباشرة، شغّله بجانب الطريقة الحالية لفترة محددة: يقترح الإجابة، والموظف يقرر. قارن النتائج بمعاييرك من الخطوة الثانية. إذا تجاوز العتبات، انتقل. وإذا لم يتجاوزها، فقد عرفت ذلك قبل أن يعرفه عملاؤك.

قائمة تحقق لأي مورّد

  1. هل يقبل الاختبار على مجموعة من بياناتنا لم يرها من قبل؟
  2. هل يتفق معنا على معايير النجاح وعتباتها قبل الاختبار؟
  3. هل يدعم اللهجات التي يكتب بها عملاؤنا، لا الفصحى وحدها؟
  4. هل يذكر مصدر كل إجابة من مستنداتنا؟
  5. هل يمكن تشغيله على أجهزتنا أو داخل الدولة، ونسخته ثابتة حتى نقرر التحديث؟
  6. هل يقبل تشغيلاً موازياً قبل الانتقال، مع سجل لكل إجراء؟

موقفنا

هكذا نعمل مع كل عميل: مرحلة الاكتشاف تبدأ بالاتفاق على معايير النجاح على بياناتك، والنشر يمر بتشغيل موازٍ قبل الانتقال. ونطبق الطريقة نفسها على Orchestra في تقييمه الداخلي للهجات. اطلب منا الاختبار على بياناتك، ومن أي مورّد آخر كذلك. المزيد في التقييم قبل الإطلاق.

صفحات ذات صلة