مين بيصحّح للنموذج؟ LLM as a Judge

مين بيصحّح للنموذج؟ LLM as a Judge

«النموذج كحَكَم» (LLM as a Judge) يعني تستخدم نموذج لغة يقيّم مخرجات نموذج تاني — تعطيه السؤال والجواب ومعايير الحكم، وبيرجّعلك تقييماً بدل ما تقرا كل جواب بإيدك.

بنلجأ إله لأن النصّ المفتوح (ملخّص، ترجمة، رد على عميل) ما إله جواب واحد صح تطابقه بالحرف، فالمصحّح الآلي العادي ما بينفع معه. وهو بيشتغل فعلاً — بس بتحيّزات مقيسة لازم تعدّلها قبل ما تثق بالرقم.

عندك نسختان من برومبت وبدك تعرف أي واحدة أحسن. أو غيّرت نموذجاً وبدك تتأكّد إنه ما خرّب. بتقعد تقرا الأجوبة بإيدك، بتتعب بعد عشرين حالة، وبتوقف — وبتضلّ ما بتعرف إذا التغيير حسّن ولا لأ. هون بتوصل لسؤال: مين رح يقرا ألف جواب بدالك؟

شرحنا شو يعني Benchmark وليش رقمه بيكذب عليك. هون بنسأل سؤالاً مختلفاً: طيب إذا ما في جواب صح واحد، كيف بنقيّم أصلاً؟

ليش ما بينفع المصحّح العادي؟

المصحّح الآلي التقليدي بيقارن مطابقة. سؤال اختيار من متعدّد؟ الجواب «ب» أو مش «ب». مسألة حساب؟ الرقم مظبوط أو لأ. بسيط وموثوق ورخيص.

بس أغلب الشغل الحقيقي مش هيك. اطلب ملخّصاً لمقالة — في عشرات ملخّصات كويسة، وما في واحد «صح». اطلب ترجمة، شرحاً لطفل، رداً على شكوى عميل: كل مرّة في مدى واسع من الأجوبة المقبولة، وفروقات بالجودة ما بتظهر بأي مطابقة نصّية.

جرّبت الصناعة مقاييس تشابه قديمة (زي BLEU وROUGE) بتقيس تطابق الكلمات مع جواب مرجعي. المشكلة إنها بتعاقب الجواب الكويس اللي استعمل كلمات تانية، وبتكافئ الجواب الركيك اللي حافظ على نفس الكلمات. يعني بتقيس التشابه الشكلي مش الجودة.

والبديل البشري — بشر يقرأوا ويقيّموا — هو المرجع الذهبي فعلاً، بس غالي وبطيء، وما بينفع تعيده كل مرّة بتبدّل سطراً ببرومبت.

كيف بيشتغل الحَكَم؟

الفكرة إنك تعطي نموذجاً دور المحكّم: هاد السؤال، هاد الجواب، هاي معايير الحكم — قيّم. وإلها تلات صيغ أساسية:

والمقارنة الثنائية هي الأنضف عملياً: إنه النموذج يقول «أ أحسن من ب» أسهل وأثبت بكتير من إنه يقول «هاد ٣.٧ من ٥». الحكم النسبي أرحم من المطلق — للنماذج زي البشر.

ليش بيشتغل أصلاً؟

السؤال المنطقي: إذا النموذج ما بيعرف يكتب جواباً كاملاً صح، كيف بيعرف يحكم عليه؟

والجواب إنه الحكم أسهل من الإنشاء. تمييز الجواب الناقص أو المتناقض أو الخارج عن السؤال ما بيلزمه تعرف الجواب الصح — بيلزمه تلاقط الإشارات. زي ما بتعرف إنه الأكل مالح بلا ما تكون طبّاخاً.

وهاد مقيس مش مفترض: ورقة MT-Bench وChatbot Arena اللي أسّست الطريقة بتقول إنه حكم النموذج القوي بيتوافق مع حكم البشر بنسبة حوالي ٨٠٪ — وهي نفس نسبة توافق محكّمَين بشريين مع بعض. يعني الحَكَم الآلي مش أدق من البشر، بس مستواه قريب منهم وكلفته جزء بسيط من كلفتهم.

التحيّزات: هون بتنكسر الأرقام

وهاد الجزء اللي بينسوه الناس. الحَكَم جهاز قياس، وكل جهاز قياس إله انحراف. واللي انمسك منها بالقياس:

• تحيّز الموقع (Position Bias): بالمقارنة الثنائية، بدّل ترتيب الجوابين وبتتبدّل النتيجة عند نسبة معتبرة من الحالات. يعني جزء من «الفوز» مصدره إنه الجواب إجا أولاً، مش إنه أحسن. موثّق بنفس ورقة MT-Bench.
• تحيّز الطول (Verbosity Bias): الجواب الأطول بياخد علامة أعلى، حتى لما ما يضيف معلومة. والنتيجة الخطيرة: لو حسّنت نظامك على حَكَم فيه هالتحيّز، رح تعلّمه الإطالة مش الجودة.
• تفضيل الذات (Self-Preference): النموذج بيحبّ أسلوبه. قياس منشور بيقول إنه النماذج بتميل تتعرّف على نصوصها هي وتفضّلها. فما تخلّي نفس عائلة النموذج تحكم على نفسها.
• تحيّز الشكل: تنسيق مرتّب، نقاط، عناوين عريضة — بترفع العلامة بلا ما يتغيّر المضمون.
• الموافقة والمجاملة: الجواب اللي بيحكي بثقة بياخد أعلى من الجواب اللي بيتحفّظ ويقول «مش متأكد» — حتى لما التحفّظ يكون هو الصح.
• تكتّل العلامات: بالتقييم المباشر، معظم الأجوبة بتاخد ٤ من ٥. فمداك الفعلي صار نقطتين مش خمس، والفروقات الحقيقية بتضيع جوّاه.

مثال محسوس من تحت إيدينا

نشرة «شو في AI؟» بتولّد نصّاً عربياً بلهجة غزّاوية كل يوم. وفي فحص قبل الحفظ — بس مش حَكَماً: قائمة كلمات ممنوعة (إنو، متل، دلوقتي…) وتعبير نمطي بيمسكها.

ليش قاعدة مش حَكَم؟ لأن المعيار هون حادّ: الكلمة موجودة أو لأ، وما في مجال للرأي. والقاعدة أسرع وأرخص ونتيجتها هي نفسها كل مرّة — وهاي ميزة الحَكَم ما بيقدّمها.

بس في سؤال تاني ما في قاعدة تمسكه: «هل النصّ حسّه طبيعي ولا مترجم؟» هاد معيار ضبابي، ما إله قائمة، وبيحتاج حكماً. وهون بالضبط بيستحقّ الحَكَم تعبه.

والخلاصة العملية: المعيار الحادّ ← قاعدة. المعيار الضبابي ← حَكَم. واللي بيستخدم حَكَماً لمعيار حادّ بيدفع أكتر وبياخد نتيجة أقل ثباتاً.

كيف تستعمله صح؟

• ابدأ بالمعايرة، مش بالتشغيل. قيّم ٥٠ حالة بإيدك أول، وقارن حكمك بحكمه. نسبة التوافق هاي هي مصداقية كل رقم رح يطلّعه بعدين — وبدونها إنت بتقيس بجهاز ما حدا عايره.
• فضّل المقارنة الثنائية على العلامة المطلقة.
• شغّل الترتيبين (أ-ب وب-أ) واحسب بس الحالات اللي اتّفقت — واللي اختلفت سجّلها «تعادل» مش فوزاً.
• اكتب معايير صريحة بدل «قيّم الجودة»: دقّة · تغطية · وضوح · التزام باللهجة. المعيار الغامض بيرجّعلك انطباعاً.
• ثبّت العشوائية (temperature منخفضة) عشان تعيد نفس القياس وتطلع نفس النتيجة — شرحنا معنى Temperature بمقالة مستقلة.
• اطلب السبب قبل العلامة. خلّي الحَكَم يكتب تعليله الأول وبعدها يعطي الحكم — بتحسّن دقّته، والأهم إنك بتقدر تراجع تعليله وتكتشف إنه حكم على إشي تاني غير اللي بدك إياه.
• لا تخلّي الحَكَم من نفس عائلة النموذج المُقاس — تفضيل الذات بيزوّر النتيجة.
• لا تحسّن على الحَكَم لفترة طويلة. هاد اختراق المكافأة بالحرف: رح تتعلّم ترضي الحَكَم، مش ترضي المستخدم.

أخطاء وسوء فهم شائع

• «الحَكَم بديل عن البشر»: لأ — هو مضخّم للحكم البشري. بدك بشراً يعايروه أول، وبدك مراجعة بشرية دورية بعدها.
• «علامة ٤.٢ أحسن من ٤.٠»: مش بالضرورة. بلا قياس للانحراف، الفرق ضجيج — نفس منطق الفروقات الصغيرة بلوحات الصدارة.
• «النموذج الأقوى حَكَم أحسن دايماً»: أقوى بالمتوسّط، بس تفضيل الذات بيضلّ موجود — والقوة ما بتلغي تحيّز الموقع والطول.
• «أطلب منه علامة وخلص»: العلامة بلا معايير مكتوبة = انطباع. ومن غير سبب مكتوب، ما بتعرف العلامة إجت من وين.
• «إذا الحَكَم غلط، نغيّر البرومبت»: أحياناً المشكلة بالمهمّة نفسها: معيار ضبابي زيادة ما بينفع يتقاس بحَكَم ولا ببشر قبل ما تحدّده.

خلاصة سريعة

• النصّ المفتوح ما إله جواب صح واحد، فالمطابقة النصّية ما بتقيس جودته.
• الحَكَم = نموذج بيقيّم مخرجات نموذج، وتوافقه مع البشر قريب من توافق البشر مع بعض.
• الحكم أسهل من الإنشاء — وهاد سبب نجاح الطريقة.
• بتحيّزات مقيسة: الموقع · الطول · تفضيل الذات · الشكل · المجاملة · تكتّل العلامات.
• العلاج: مقارنة ثنائية · الترتيبان · معايير صريحة · معايرة بشرية · حَكَم من عائلة تانية.
• المعيار الحادّ بدّه قاعدة، والضبابي بدّه حَكَماً — لا تستعمل الغالي للرخيص.

أسئلة بتوصلنا كتير

• ما معنى LLM as a Judge بالعربي؟ «النموذج كحَكَم» — أن تُستخدم نموذج لغة كبير لتقييم مخرجات نموذج آخر (أو مخرجات نسختين من نظامك) بدلاً من المطابقة النصّية أو التحكيم البشري الكامل، وذلك عبر إعطائه السؤال والجواب ومعايير حكم صريحة.
• What is LLM as a judge? استخدام نموذج لغوي محكّماً يقيّم أجوبة مفتوحة لا يوجد لها جواب صحيح وحيد، إمّا بعلامة مباشرة أو بمقارنة جوابين أو بمقارنة الجواب بمرجع ذهبي.
• هل تقييم النموذج بنموذج موثوق؟ موثوق بدرجة معقولة لا مطلقة: الورقة المؤسِّسة للطريقة تُبلّغ عن توافق قارب ٨٠٪ مع المحكّمين البشريين، وهو قريب من نسبة توافق محكّمَين بشريين. لكنه يحمل تحيّزات مقيسة (الموقع، الطول، تفضيل الذات) تستلزم معايرته على عيّنة مصحّحة بشرياً قبل الاعتماد عليه.
• ما هو تحيّز الموقع (Position Bias) في التقييم؟ ميل المحكّم الآلي إلى تفضيل أحد الجوابين بسبب ترتيب عرضه لا بسبب جودته؛ ولذلك يُشغّل التقييم بالترتيبين (أ-ب ثم ب-أ) ولا تُحسب إلا الحالات التي اتّفق فيها الحكمان.
• ما الفرق بين BLEU وLLM as a Judge؟ مقاييس مثل BLEU وROUGE تقيس تطابق الكلمات مع جواب مرجعي، فتعاقب الجواب الجيد المصوغ بكلمات مختلفة وتكافئ الجواب الضعيف المشابه لفظياً؛ أمّا المحكّم الآلي فيقيّم المعنى والالتزام بالمعايير، بكلفة أعلى وثبات أقل.
• متى أستخدم قاعدة بدلاً من محكّم آلي؟ حين يكون المعيار حادّاً وقابلاً للفحص الآلي (كلمة ممنوعة، صيغة مطلوبة، حدّ أقصى للطول) فالقاعدة أسرع وأرخص ونتيجتها ثابتة؛ ويُترك المحكّم للمعايير الضبابية مثل «هل النصّ طبيعي؟» أو «هل الشرح واضح؟».

كمّل رحلتك من هون

• الأساس اللي قبله: شو يعني Benchmark؟
• ليش الأرقام بتكذب: النموذج بياخد ٩٠٪ وبيفشل عندك
• تقييم الوكلاء تحديداً: تقييم الوكلاء
• لما التحسين يروح على المقياس: اختراق المكافأة
• البشر كمصدر للحكم بالتدريب: شو يعني RLHF؟
• ليش بيحكي بثقة وهو غلطان: ليش الذكاء الاصطناعي «بيألف»؟
• ثبات القياس: شو يعني Temperature؟
• كل المصطلحات بمكان واحد: قاموس الذكاء الاصطناعي