On-Policy Distillation

LLM نموذج لغة ضخم بتعلم على مليارات الكلمات وبعدين بيقدر يتنبأ ويكتب نصوص زي ChatGPT و Claude. أوراق نفس اليوم reinforcement learning تعليم الذكاء الاصطناعي من خلال نظام الحوافز والعقوبات، زي لما تعلّم طفل بالمكافأة والعقاب عشان… أوراق نفس اليوم benchmark يعني مجموعة معايير واختبارات بنستخدمها عشان نشيك كيف أداء النموذج تبعنا، شو مستواه الفعلي. أوراق نفس اليوم distillation تقنية بنأخذ فيها نموذج ذكاء اصطناعي كبير وقوي ونعلّم نموذج أصغر يحاكيه، عشان نحصل على أداء شبه… أوراق نفس اليوم self-distillation تقنية بنعلم فيها نموذج كبير يدرّس نسخة أصغر من نفسه، عشان نحسّن الأداء مش بنحتاج بيانات جديدة أوراق نفس اليوم Quantization-Aware Training بندرّب النموذج مع مراعاة تقليل الدقة (quantization) من البداية، يعني احنا بنخلي الشبكة تتعلم… أوراق نفس اليوم Dockerless موديل بيشتغل بدون حاويات Docker، يعني ما بنحتاج نعبّيه بحاوية لتشغّله، بنسمع عنها لأنه بتسهل… أوراق نفس اليوم memory-augmented memory-augmented يعني إنه النموذج مرفوع بذاكرة إضافية، بنستفيد منه عشان يقدر يفتكر إشي من قبل… أوراق نفس اليوم Hermes+ HERMES هو موديل لغة بيشتغل على مهام عربية متعددة، بدنا نستخدمه لأنه بيقدر يفهم ويولّد نصوص… أوراق نفس اليوم RAG اختصار Retrieval-Augmented Generation، يعني احنا بنجيب معلومات من قواعد بيانات خارجية ونخليها… أوراق نفس اليوم pass@k هو مقياس بنقيّم فيه النموذج، بنقوله احنا جرّب k مرة وإذا صحّت ولو مرة واحدة بنعتبرها نجاح. أوراق نفس اليوم predicted-KL step control Predicted‑KL step control طريقة بتتحكم بخطوة التدريب بناءً على توقع الانحراف الكلفي (KL)، يعني… أوراق نفس اليوم AUC هو رقم بين 0 و1 بيقيس قد الموديل شاطر يفرق بين الحالات الصح والغلط، كل ما قرب من 1 كل ما هو… أوراق نفس اليوم log-scale compression log-scale compression يعني إنه بنضغط البيانات بطريقة اللوغاريتم، يعني القيم الكبيرة بنقللها… أوراق نفس اليوم Dev-Primitives Dev‑Primitives هي مجموعة من اللبنات الأساسية للبرمجة والتطوير، يعني أدوات جاهزة بنقدر نعيد… أوراق نفس اليوم Student-Teacher Mismatch Student-Teacher Mismatch هو لما النموذج الطالب ما بيتطابق مع النموذج المعلم، يعني المعلم بيعطي… أوراق نفس اليوم representation representation هو الطريقة اللي بنمثّل فيها البيانات أو المفاهيم داخل النموذج، بدنا تمثيل واضح… أوراق نفس اليوم diffusion diffusion هو مفهوم بنستخدمه بنماذج توليد الصور، بيبدأ بصورة عشوائية وبعدين يضيف خطوات تصحيح… أوراق نفس اليوم cross-modal attention cross-modal attention يعني آلية تركّز على معلومات من أكتر من نمط (مثل صورة وصوت) بنفس الوقت… أوراق نفس اليوم LoRA اختصار Low-Rank Adaptation، يعني تعديل وتدريب نموذج ذكاء اصطناعي ضخم بس نضيف طبقات صغيرة خفيفة… أوراق نفس اليوم VQA اختصار Visual Question Answering، يعني بتعطي الموديل صورة وبتسأله سؤال عنها وهو بيجاوب. أوراق نفس اليوم persona الـ persona هو الشخصية أو الدور اللي بنعطيه للـ model، يعني بنحكي له يكون كأنه شخص معيّن عشان… أوراق نفس اليوم bidirectional foundation model bidirectional foundation model هو موديل أساسي بيقدر يقرأ النص من اليمين للشمال والعكس، يعني… أوراق نفس اليوم adversarial attack adversarial attack هو هجوم على نموذج الذكاء الاصطناعي بيخلّيه يخطئ بإدخال بيانات مِعدَّلة… أوراق نفس اليوم Omni-Modal Generative Model Omni-Modal Generative Model نموذج بيقدر يولد محتوى من أكتر من نوع بيانات، زي نص وصورة وصوت… أوراق نفس اليوم SFT اختصار Supervised Fine-Tuning، يعني بناخد نموذج ذكاء اصطناعي جاهز ونعلّمه من جديد على بيانات… أوراق نفس اليوم softmax attention هاد إشي رياضي بيحسب قد شو كل كلمة في الجملة مهمة بالنسبة للكلمات الثانية، وبنسمع عنه لأنه… أوراق نفس اليوم contrastive evidence gating contrastive evidence gating هو مفهوم بيقارن بين أمثلة مختلفة ليحدد أي دليل هو الأهم، يعني… أوراق نفس اليوم MoE اختصار لـ Mixture of Experts، يعني نموذج فيه مجموعات من الخبراء المتخصصين كل واحد بيشتغل على… أوراق نفس اليوم multimodal alignment multimodal alignment هو مفهوم بيسعى يخلّي تمثيلات الأنماط المختلفة (نص، صورة، صوت) تكون… أوراق نفس اليوم