LoRA — الطبقات الصغيرة الذكية

LoRA — الطبقات الصغيرة الذكية

بالجزء الماضي عرفنا فكرة PEFT: جمّد النموذج ودرّب جزء صغير. بس ضل السؤال العملي: أي جزء بالضبط، وكيف؟ الجواب الأنجح بالمجال كله اسمه LoRA — طريقة بسيطة لدرجة مفاجئة، وفعالة لدرجة إنها صارت الطريقة الافتراضية لتخصيص النماذج عند الشركات والهواة على حد سواء.

الفكرة: ورقة شفافة فوق الخريطة

تخيل عندك خريطة مرسومة بدقة (أوزان النموذج الأصلية). بدك تضيف عليها ملاحظاتك — طرق جديدة، إشارات، تعديلات. في طريقتين: ترسم فوق الخريطة نفسها (وبتخربها للأبد)، أو تحط ورقة شفافة فوقها وترسم عليها. الخريطة الأصلية محفوظة، تعديلاتك على الورقة، ولما بدك خريطة لغرض تاني — بتبدّل الورقة بس.

هاي بالضبط فكرة LoRA (اختصار Low-Rank Adaptation — قدمتها Microsoft سنة 2021): بدل تعديل مصفوفات الأوزان الضخمة بالنموذج، بنحط جنب كل وحدة مصفوفتين صغيرتين (A وB) وبندرّبهم بس. وقت التشغيل، ناتجهم بينضاف على الأصل — فبيتصرف النموذج كأنه اتعدّل، مع إنه ولا رقم من أرقامه الأصلية انلمس.

ليش مصفوفتين صغيرتين بيكفوا؟

السر بكلمة Low-Rank: التعديل اللي بدنا ياه على سلوك النموذج — من «مساعد عام» لـ«مساعد قانوني» مثلاً — أبسط بكتير من كل المعرفة المخزنة جوّاه. فما بنحتاج مصفوفة تعديل بحجم الأصلية؛ مصفوفتين نحيفتين حاصل ضربهم بيغطي التعديل المطلوب. عملياً: بندرّب أجزاء من الألف من حجم النموذج وبنحصل على تخصص حقيقي.

شو بيعني هاد عملياً؟

• ملف LoRA بيطلع ميغابايتات — بتشاركيه، بتنزّليه، بتبدّليه بثواني. في مكتبات كاملة على الإنترنت من ملفات LoRA جاهزة لكل غرض (أساليب كتابة، تخصصات، وحتى أنماط رسم بنماذج الصور — مجتمع توليد الصور من أكبر مستخدمي LoRA).
• نموذج واحد، شخصيات متعددة: نفس النموذج الأساسي بالسيرفر، وبتبدّلي الـ LoRA حسب المهمة — دعم فني، تلخيص قانوني، كتابة تسويقية.
• التدريب بمتناولك: بمكتبة PEFT من Hugging Face، تدريب LoRA صار أسطر كود معدودة على GPU عادية.

أخطاء وسوء فهم شائع

• «LoRA بيعلّم النموذج معلومات جديدة»: بيعدّل سلوكه وأسلوبه أكتر ما بيحقن معرفة. بدك النموذج يجاوب من مستنداتك المتجددة؟ هاد شغل الـ RAG — والاتنين بيكمّلوا بعض.
• «كل ما كبرت مصفوفات LoRA أحسن»: في نقطة توازن — أكبر بيعني كلفة أعلى وخطر حفظ أعمى للبيانات. الأحجام الصغيرة بتفاجئك بكفايتها.
• «LoRA للنصوص بس»: بالعكس — بنماذج توليد الصور هي نجمة النجوم (أنماط رسامين، شخصيات، أساليب تصوير).

خلاصة سريعة

• LoRA: جمّد الأصل، درّب مصفوفتين صغيرتين جنبه — ورقة شفافة فوق الخريطة.
• بتدرّب أجزاء من الألف من الأوزان، والناتج ملف صغير قابل للتبديل والمشاركة.
• بتعدّل السلوك والأسلوب؛ للمعرفة المتجددة في RAG — والاتنين تكامل مش تنافس.
• بس ضل سؤال: النموذج الأصلي نفسه لسّا ضخم عالذاكرة… وهون بيجي QLoRA — الجزء الأخير.

كمّل رحلتك من هون

• الجزء الأخير من السلسلة: Quantization وQLoRA — نضغط النموذج ونتوّج الرحلة (بقائمة السلسلة تحت)
• رجعة للأساس: شو يعني Fine-Tuning أصلاً؟
• مصطلح مش واضح؟ افتح قاموس «شو يعني؟»

المصادر

• ورقة LoRA الأصلية — Hu et al., Microsoft, 2021 (arXiv:2106.09685)
• توثيق مكتبة PEFT — Hugging Face
• الرسم التوضيحي: من إعداد «شو في AI؟»