شو يعني RLHF؟ القصة ورا «أدب» ChatGPT ولطفه معك

شو يعني RLHF؟ القصة ورا «أدب» ChatGPT ولطفه معك

جرّب اسأل ChatGPT سؤال غبي، أو اطلب منه إشي مؤذي — رح يرد بلطف، يعتذر، أو يرفض بأدب. طيب مين علّمه هالأدب؟ النموذج تدرّب على الإنترنت كله — بما فيه أسوأ ما بالإنترنت. فكيف طلع مهذّب ومفيد بدل ما يكون فظ أو خطير؟ الجواب تقنية اسمها RLHF — وهي السبب الحقيقي اللي خلّى نماذج زي ChatGPT تنفجر شعبياً، مش بس ذكاءها.

الجواب المختصر

RLHF اختصار Reinforcement Learning from Human Feedback — التعلّم المعزّز من التغذية الراجعة البشرية. ببساطة: بعد ما النموذج بيتعلم اللغة من النصوص، بشر بيقيّموا إجاباته (هاي أحسن، هاي أسوأ)، والنموذج بيتعلم من تقييماتهم يعطي إجابات مفيدة ومؤدّبة وآمنة — أقرب لما البشر بدهم إياه فعلاً.

ليش بنحتاجه؟ النموذج الخام «بيكمّل» بس ما «بيساعد»

النموذج بعد تدريبه الأولي على النصوص بيكون شاطر بإشي واحد: توقّع الكلمة الجاية. بس هاد مش نفس «يساعدك». لو سألت نموذج خام «شو عاصمة فرنسا؟» ممكن يرد… بسؤال تاني! لأنه شاف بالإنترنت أسئلة بتتبعها أسئلة. هو بيكمّل النمط، مش بيخدمك.

المطلوب نخليه يفهم: لما حدا بيسأل، بدو جواب مفيد؛ ولما يطلب إشي مؤذي، بدو رفض مهذّب. وهون بيجي دور البشر.

كيف بيشتغل؟ ثلاث خطوات

• ١. جمع تفضيلات بشرية: النموذج بيعطي عدة إجابات لنفس السؤال، ومقيّمين بشر بيرتّبوها من الأحسن للأسوأ. «هالجواب مفيد ومهذّب، هاد فظ، هاد خطير».
• ٢. بناء «نموذج مكافأة»: بيتدرّب نموذج تاني يتعلّم من تقييمات البشر، لحد ما يصير يقدر يحزر لحاله: «هالجواب البشر رح يحبوه، وهاد لأ». صار عنا حَكَم آلي بيقلّد ذوق البشر.
• ٣. صقل النموذج بالمكافأة: النموذج الأصلي بيتمرّن يولّد إجابات بتاخد أعلى «مكافأة» من الحَكَم — يعني بيتعلّم يعطي اللي البشر بيفضّلوه. زي تدريب كلب بالمكافآت، بس المكافأة هون «رضا البشر».

النتيجة: نموذج InstructGPT اللي طبّق الفكرة بيّن إنه نسخة صغيرة مصقولة بـ RLHF بيفضّلها البشر أكتر من نسخة أكبر منها بكتير بس خام. الأدب والفائدة غلبوا الحجم.

مثال محسوس: نفس السؤال، نموذجين

اسأل «كيف أعمل قنبلة؟»:

• نموذج خام: ممكن يبلّش يشرح — هو بس بيكمّل نص، ما عنده مفهوم «هاد مؤذي».
• نموذج بعد RLHF: «ما بقدر أساعد بهاد، بس إذا عندك فضول عن الكيمياء بشكل آمن، بقدر…» — تعلّم من تقييمات البشر إنه هالطلب بيتقابل برفض مهذّب.

نفس الفرق بيخلّي الجواب المفيد المرتّب يغلب الجواب الفوضوي — مش لأنه النموذج «فهم»، بس لأنه اتصقل على تفضيلاتنا.

طيب شو علاقته بالمواضيع اللي شرحناها؟

• الأمان: RLHF أول خط دفاع بيخلّي النموذج يرفض المؤذي — والفرق الحمراء (Red Teaming) بتختبر ثغراته.
• الهلوسة: RLHF بيقلّلها (البشر بيعاقبوا الإجابات الملفّقة) — بس ما بيلغيها، وأحياناً بيخلّي النموذج «واثق» أكتر من اللازم عشان الواثق بيرضي المقيّمين.
• التدريب: هو خطوة بعد التدريب الأساسي — من عائلة صقل النماذج.

أخطاء وسوء فهم شائع

• «RLHF بيخلّي النموذج يفهم الأخلاق»: لأ — بيخلّيه يقلّد تفضيلات المقيّمين. لو المقيّمين متحيّزين أو غلطوا، النموذج بيرث هاد. هو انعكاس لذوق بشري، مش بوصلة أخلاقية.
• «خلص، صار النموذج آمن ١٠٠٪»: RLHF بيحسّن كتير بس مش حصانة — عشان هيك في فرق حمراء وتحديثات مستمرة.
• «الأدب معناه النموذج لطيف فعلاً»: الأدب سلوك متعلّم لإرضائنا. أحياناً بيكون مجامل زيادة (بيوافقك حتى لو غلطان) — وهاي مشكلة معروفة اسمها التزلّف (sycophancy).
• «RLHF بيزيد ذكاء النموذج»: مش بالضبط — بيزيد فائدته وأدبه ومحاذاته لرغباتنا. الذكاء الخام جا من التدريب الأساسي؛ RLHF بيوجّهه.

خلاصة سريعة

• RLHF = تعليم النموذج من تقييمات البشر يعطي إجابات مفيدة ومؤدّبة وآمنة.
• ثلاث خطوات: تفضيلات بشرية ← نموذج مكافأة (حَكَم آلي) ← صقل النموذج ليرضيه.
• هو السبب إنه ChatGPT «بيساعد» بدل ما «يكمّل نص» — والفائدة غلبت الحجم.
• بيقلّل الأذى والهلوسة، بس ما بيلغيهم — وبيورّث تحيّزات المقيّمين.
• بيوجّه الذكاء الموجود، مش بيصنعه.

أسئلة بتوصلنا كتير

• ما معنى RLHF؟ اختصار Reinforcement Learning from Human Feedback — التعلّم المعزّز من التغذية الراجعة البشرية: تعليم النموذج من تقييمات بشرية لإجاباته حتى يعطي ردود مفيدة ومؤدّبة وآمنة.
• ليش ChatGPT مؤدّب ومفيد؟ بفضل RLHF — بشر قيّموا إجاباته، والنموذج اتصقل ليعطي اللي البشر بيفضّلوه، مش بس يكمّل النص زي النموذج الخام.
• هل RLHF بيخلّي النموذج آمن تماماً؟ بيحسّن الأمان كتير بس مش حصانة كاملة — لهيك في فرق حمراء تختبر الثغرات وتحديثات مستمرة.

كمّل رحلتك من هون

• من أي عائلة هو؟ صقل النماذج (Fine-Tuning)
• مين بيختبر أمانه بعدين؟ الفرق الحمراء (Red Teaming)
• وليش لسا بيغلط بثقة؟ قصة الهلوسة
• الأساس اللي بيتدرّب عليه: شو يعني شبكة عصبية؟
• الأساس اللي بيقوم عليه: شو يعني التعلّم المعزّز؟ اقرأها
• والتزلّف كاختراق مكافأة: شو يعني Reward Hacking؟ اقرأها
• كيف بيتعلّم الرفض؟ حواجز الأمان (Guardrails)
• الأثر الجانبي (التزلّف): ليش الذكاء الاصطناعي بيخدع؟
• مصطلح مش واضح؟ قاموس «شو يعني؟»

المصادر

• Training language models to follow instructions with human feedback — بحث InstructGPT من OpenAI (2022)
• Deep Reinforcement Learning from Human Preferences — البحث المؤسِّس للفكرة (2017)
• الرسم التوضيحي: من إعداد «شو في AI؟»