data contamination

benchmark يعني مجموعة معايير واختبارات بنستخدمها عشان نشيك كيف أداء النموذج تبعنا، شو مستواه الفعلي. عنقود مرتّب يدوياً evaluation evaluation يعني عملية اختبار النموذج وقياس أدائه، بدنا نعرف إذا النموذج شغّال صح ولا لا. عنقود مرتّب يدوياً accuracy مقياس بيقيس نسبة الإجابات الصحيحة من إجمالي الأسئلة، عشان نعرف قديش النموذج دقيق عنقود مرتّب يدوياً Red Teaming اختبار النظام بمهاجمته عمداً وبتفويض — كل ثغرة بتنكشف بتتصلح قبل الإطلاق عنقود مرتّب يدوياً overfitting هاد إشي بيصير لما النموذج يحفظ بيانات التدريب بشكل مبالغ فيه وبيفشل مع بيانات جديدة، يعني زي… عنقود مرتّب يدوياً MMLU مجموعة بيانات بتقيس معرفة النموذج عبر أسئلة من مجالات مختلفة، زي الرياضيات والعلوم. عنقود مرتّب يدوياً leaderboards يعني قوائم ترتيب بتظهر أداء النماذج والأنظمة المختلفة على مهام معينة. عنقود مرتّب يدوياً Benchmark Saturation إشباع الاختبار — وصول كل النماذج لنتايج متقاربة فيفقد قدرته يفرّق نفس المقالة Arena الـArena هو مساحة تجريبية بنحط فيها النماذج تتنافس أو تتفاعل، زي ملعب بنلعب فيه لنشوف أي نموذج… نفس المقالة Goodhart's Law قانون Goodhart — لما المقياس يصير هدفاً بيبطّل يكون مقياساً نفس المقالة