ليش النموذج بياخد ٩٠٪ وبيفشل عندك؟
الامتحانات منشورة على الإنترنت، والتدريب بيزحف عليه. فالرقم بيقيس الحفظ مش الفهم — ومعه عطبان تانيان.
ليش النموذج بياخد ٩٠٪ بالامتحان وبيفشل عندك؟
لأن أغلب امتحانات النماذج منشورة على الإنترنت، فبتنسحب جوّا بيانات التدريب — وبيصير النموذج بيتذكّرها مش بيحلّها. الظاهرة اسمها تلوّث البيانات (Contamination)، ومعها الإشباع وقانون Goodhart بتفسّر الفجوة بين الرقم والواقع.
بتقرا إنه نموذج جديد كسر الرقم القياسي بامتحان صعب، بتجرّبه على شغلك، وبتتفاجأ إنه أضعف من اللي كنت مستعمله. مش إنك بتستعمله غلط — الرقم نفسه ما بيقيس اللي بتظنّه.
شرحنا شو يعني Benchmark أصلاً وكيف نقيّم الوكلاء بمقالات سابقة. هون بنركّز على سؤال واحد: ليش الرقم بيكذب؟
العطب الأول: التلوّث
بيانات التدريب بتتجمّع بزحف واسع على الإنترنت. والامتحانات (البنشماركات) منشورة على الإنترنت — بمستودعات وأوراق ومنتديات ومدوّنات بتشرح حلولها.
فالنتيجة شبه حتمية: جزء من الامتحان بينتهي جوّا بيانات التدريب. ولمّا يجي وقت الاختبار، النموذج ما بيحلّ السؤال — بيتذكّره.
والمهم إنه هاد غالباً بلا قصد. مش تزوير؛ هو نتيجة طبيعية لإنك بتدرّب على الإنترنت وبتختبر بإشي موجود على الإنترنت.
التشبيه: طالب حفظ أسئلة الامتحان قبل ما يدخل. علامته عالية — وما بتقلّك إشي عن أدائه بسؤال جديد.
وكمان في صورة أخفّ اسمها التسرّب (Leakage): مش السؤال نفسه، بس أسئلة قريبة جداً منه أو شروحات لنفس النمط.
العطب الثاني: الإشباع
لما كل النماذج الجدّية توصل ٩٥٪+ بامتحان معيّن، الامتحان بيبطّل يفرّق بينهم. الفروقات اللي بتشوفها بتصير ضجيجاً: نصف نقطة مش معناها نموذج أفضل، معناها حظّ بالأسئلة الحدّية.
وهاد بيفسّر ظاهرة بتلاحظها: كل سنة بتظهر امتحانات جديدة «أصعب». مش لأن القديمة كانت غلط — لأنها انستهلكت.
العطب الثالث: قانون Goodhart
المبدأ ببساطة: لما المقياس يصير هدفاً، بيبطّل يكون مقياساً كويساً.
طالما في لوحة صدارة عامة وسمعة وتمويل مربوطين فيها، رح يصير في ضغط — ولو غير مقصود — نحو تحسين الرقم: اختيار البيانات اللي بترفعه، ضبط التفاصيل عليه، وتقديم النتايج بأفضل صورة.
وهاد بيفسّر ليش نموذج بيتفوّق بلوحة الصدارة وبيخيب بمهمّتك: اللوحة انتحسّنت، مش القدرة العامّة.
المقارنة: شو بيقيس الرقم فعلاً؟
| شو بيبان | شو بيقيس فعلاً | |
|---|---|---|
| رقم عالٍ بامتحان ملوّث | فهم قوي | حفظ |
| رقم عالٍ بامتحان مشبع | تفوّق | ضجيج |
| تحسّن بلوحة الصدارة | تقدّم عام | تحسين على المقياس |
| رقم عالٍ بامتحان نظيف وحديث | قدرة حقيقية | قدرة على هالنوع من المهام |
لاحظ آخر صفّ: حتى الامتحان النظيف بيقيس نوعاً محدّداً من المهام — مش «الذكاء».
كيف تقرا الأرقام صح؟
- شوف تاريخ الامتحان. امتحان قديم + نموذج جديد = احتمال تلوّث أعلى.
- دوّر على امتحانات بأسئلة مخفية أو بتتجدّد دورياً — أنظف بكتير.
- قارن بين نماذج بنفس الامتحان بنفس الظروف، مش بين أرقام من جداول مختلفة.
- الفروقات الصغيرة ما بتعني إشي. ٨٧.٢ مقابل ٨٦.٩ = نفس الإشي عملياً.
- جرّبه على شغلك. عشر حالات حقيقية من شغلك بتقلّك أكتر من أي جدول — لأنها ما حدا تدرّب عليها.
أخطاء وسوء فهم شائع
- «التلوّث يعني الشركة غشّت»: غالباً لأ. بيصير تلقائياً لأن الامتحان منشور والزحف بيشمل الإنترنت.
- «البنشماركات بلا قيمة»: إلها قيمة — بتكشف الفشل الواضح وبتسمح بمقارنة تقريبية. المشكلة بالتعامل معها كحقيقة نهائية.
- «نموذج رقمه أعلى = أفضل إلي»: مش بالضرورة. الرقم بيقيس مهمّته هو، وشغلك إنت مهمّة تانية.
- «الحلّ امتحانات أصعب»: بيأجّل المشكلة. الامتحان الصعب بينشر، بينتلوّث، وبينشبع — نفس الدورة.
- «التلوّث بيخصّ الأسئلة بس»: لأ — حتى شروحات الحلول والأنماط المشابهة بتكفّي ترفع الرقم بلا فهم.
خلاصة سريعة
- التلوّث: الامتحان انسحب لبيانات التدريب — فالنموذج بيتذكّر مش بيحلّ.
- الإشباع: الكل وصل الأعلى، فالمقياس فقد قدرته يفرّق.
- Goodhart: لما المقياس يصير هدفاً، بيتحسّن الرقم لا الأداء.
- الفروقات الصغيرة بلوحات الصدارة ضجيج.
- الاختبار الوحيد اللي بيهمّك: عشر حالات من شغلك إنت.
أسئلة بتوصلنا كتير
- ما معنى تلوّث البيانات (Data Contamination) في تقييم النماذج؟ أن تكون أسئلة الاختبار أو حلولها قد دخلت ضمن بيانات تدريب النموذج — عادةً بلا قصد لأن الاختبارات منشورة على الإنترنت والتدريب يزحف عليه — فيرتفع الأداء لأن النموذج يتذكّر لا لأنه يستدل.
- What is benchmark contamination in Arabic? بالعربي «تلوّث الاختبارات» — تسرّب أسئلة التقييم أو إجاباتها إلى بيانات التدريب، ما يجعل نتيجة النموذج مؤشّراً على الحفظ أكثر منه على القدرة الفعلية.
- لماذا يتفوّق النموذج في الاختبارات ويفشل في عملي؟ لثلاثة أسباب مجتمعة: تلوّث الاختبار، وإشباعه (وصول جميع النماذج إلى نتائج متقاربة جداً فتصبح الفروق ضجيجاً)، وقانون Goodhart الذي يجعل التحسين ينصبّ على المقياس لا على القدرة — إضافةً إلى أن الاختبار يقيس نوعاً من المهام قد يختلف عن عملك.
- ما هو قانون Goodhart؟ مبدأ يقول إن المقياس حين يتحوّل إلى هدف يفقد صلاحيته كمقياس؛ فمع ارتباط السمعة والتمويل بلوحات الصدارة يتجه الجهد إلى رفع الرقم لا إلى تحسين القدرة العامة.
- كيف أقيّم نموذجاً بشكل موثوق؟ لا تعتمد على لوحات الصدارة وحدها: راجع تاريخ الاختبار واحتمال تلوّثه، وفضّل الاختبارات ذات الأسئلة المخفية أو المتجدّدة، وتجاهل الفروق الصغيرة، والأهم جرّب النموذج على عشر حالات حقيقية من عملك لأنها بيانات لم يتدرّب عليها أحد.
كمّل رحلتك من هون
- الأساس: شو يعني Benchmark؟
- تقييم الوكلاء تحديداً: تقييم الوكلاء
- من وين بتيجي البيانات أصلاً: بيانات التدريب
- مشكلة قريبة بالمفهوم: شو يعني Overfitting؟
- لما يتحسّن المقياس بلا الهدف: اختراق المكافأة
- بيانات مولّدة وفخّها: البيانات الاصطناعية
- كل المصطلحات بمكان واحد: قاموس الذكاء الاصطناعي
📘 مصطلحات وردت بالمقالة
بتقدر تلغي بضغطة · ما بنشارك بريدك مع حدا