Benchmark البنشمارك
يعني مجموعة معايير واختبارات بننسخدمها عشان نشيك كيف أداء النموذج تاعنا، شو مستواه الفعلي. بنسمع عنها كتير عشان هي إشي أساسي لمعرفة إذا النموذج بتاعك تمام أم لا.
مصطلحات تقييم النماذج
كل شركة بتقول «نموذجنا الأول» — طيب الأول على شو؟
كل ما ينزل نموذج جديد بتشوف جداول وأرقام و«تفوّقنا على المنافسين». بس مين بيحدّد هالأرقام؟ وهل تصدّقها؟
هالمصطلحات بتعطيك أدوات تقرأ أي ادّعاء بعين ناقدة — وترتيبها هون بيمشي من «شو هو الاختبار» لـ«كيف بينغشّ فيه».
المصطلحات الـ9 بهالعنقود
وأشهر اختبار بتشوف اسمه بالجداول:
MMLU اختبار MMLU
مجموعة بيانات بتقيس معرفة النموذج عبر أسئلة من مجالات مختلفة، متل الرياضيات والعلوم. بنستعملها لنقيم قدرة النموذج على الفهم العام.
ووين بتتنشر النتايج:
Leaderboard لوحة الصدارة
جدول ترتيب بيظهر أيّ النماذج والفرق هي الأفضل في اختبارات معينة - زي جدول الدوري بتاع الرياضة بس للذكاء الاصطناعي.
بس الاختبار الموحّد جزء من صورة أوسع:
Evaluation التقييم
evaluation يعني عملية اختبار النموذج وقياس أدائه، بدنا نعرف إذا النموذج شغّال صح ولا لا.
وأبسط مقياس — وأكترهم تضليلاً:
Accuracy الدقّة
مقياس بيقيس نسبة الإجابات الصحيحة من إجمالي الأسئلة، عشان نعرف قديش النموذج دقيق
ولهيك بيستخدموا مقياساً أعدل:
F1 Score مقياس F1
مقياس بنستخدمه عشان نحكم على أداء النموذج بشكل متوازن، لأنه يدمج دقة التنبؤات مع نسبة اللي النموذج اكتشفها من الأشياء الصحيحة.
وأول طريقة بينخدع فيها التقييم:
Overfitting فرط التخصيص
هاد إشي بيصير لما النموذج يحفظ بيانات التدريب بشكل مبالغ فيه وبيفشل مع بيانات جديدة، يعني زي طالب حفظ الأسئلة بس مش فاهم المادة، بنسمع عنه كتير عشان هو من أكبر مشاكل تدريب النماذج.
وأخطرها على مصداقية الأرقام المنشورة:
Data Contamination تلوّث البيانات
يعني لما البيانات اللي تعلّمنا عليها النموذج تتكرر في بيانات الاختبار، فالنموذج بيعطيك نتايج مزيفة. مش بدنا هيدا عشان ما بتعكس الواقع الحقيقي.
ولهيك في تقييم من نوع تاني تماماً:
Red Teaming الفريق الأحمر
يعني فريق من الخبراء بيحاولوا بقصد انهم يكسروا ويخترقوا النظام لإيجاد ثغرات وضعفيات فيه. احنا بنعملها عشان نتأكد إن نماذج الذكاء الاصطناعي بتاعتنا آمنة وما فيها مشاكل قبل ما نطلقها للناس.