self-distillation

LLM نموذج لغة ضخم بتعلم على مليارات الكلمات وبعدين بيقدر يتنبأ ويكتب نصوص زي ChatGPT و Claude. أوراق نفس اليوم reinforcement learning تعليم الذكاء الاصطناعي من خلال نظام الحوافز والعقوبات، زي لما تعلّم طفل بالمكافأة والعقاب عشان… أوراق نفس اليوم EMA الـ EMA أو Exponential Moving Average هو أسلوب بنحسب فيه متوسط أوزان النموذج مع الوقت بطريقة… أوراق نفس اليوم benchmark يعني مجموعة معايير واختبارات بنستخدمها عشان نشيك كيف أداء النموذج تبعنا، شو مستواه الفعلي. أوراق نفس اليوم On-Policy Distillation هالطريقة بنقل فيها المعرفة من نموذج بيتعلم على نفس السياسة (on‑policy) إلى نموذج أصغر أو أبسط… أوراق نفس اليوم token savings token savings مقياس بيقيس قديش النموذج قدر يقلل عدد الـtokens المستخدمة لإنجاز مهمة، يعني… أوراق نفس اليوم MCP MCP يعني Maximum Clique Problem، وهي مشكلة إيجاد أكبر مجموعة من العقد المرتبطة ببعضها، بنسمع… أوراق نفس اليوم hybrid rollout hybrid rollout يعني نطبق نموذج جديد على جزء من الداتا ونخلطه مع النموذج القديم، عشان بنقدر… أوراق نفس اليوم gated spatial pooler gated spatial pooler مفهوم بيحكم على كيف بنجمع المعلومات المكانية في الشبكة العصبية، يعني… أوراق نفس اليوم knowledge graph يعني قاعدة بيانات بتربط بين الكيانات والعلاقات لتساعد الآلات تفهم المعلومات، بنسمع عنها عشان… أوراق نفس اليوم chain-of-thought chain-of-thought يعني بنطلب من الموديل يفكر بصوت عالي ويحكيلنا خطواته قبل ما يعطي الجواب، وهاد… أوراق نفس اليوم CUA مصطلح CUA يعني concept أو فكرة أساسية بنستعملها لنفهم كيف النظام بيشتغل، بنسمع عنها لأنه… أوراق نفس اليوم Horn-clause Horn-clause هي صيغة منطقية بسيطة بتستعمل في قواعد Prolog، فيها رأس واحد وجسم من عدة شروط… أوراق نفس اليوم rollouts الـ rollouts هي محاكاة أو تجارب متعددة للنموذج عشان نشوف كيف بيشتغل مع سيناريوهات مختلفة… أوراق نفس اليوم representation representation هو الطريقة اللي بنمثّل فيها البيانات أو المفاهيم داخل النموذج، بدنا تمثيل واضح… أوراق نفس اليوم fine-tuning تدريب إضافي لنموذج موجود بالفعل على بيانات جديدة وخاصة عشان يكون أفضل في مجال معين. أوراق نفس اليوم OSWorld-Verified OSWorld-Verified هو مفهوم بيأكد إن الأنظمة تشتغل بشكل موثوق داخل بيئات محاكاة، بنسمع عنه عشان… أوراق نفس اليوم persona الـ persona هو الشخصية أو الدور اللي بنعطيه للـ model، يعني بنحكي له يكون كأنه شخص معيّن عشان… أوراق نفس اليوم pruning الـ pruning يعني بنقص حجم النموذج عن طريق حذف الوصلات أو النيورونات اللي ما إلها تأثير كبير… أوراق نفس اليوم In-Context Learning يعني احنا بنعطي النموذج أمثلة جوّا نفس الرسالة اللي بنبعثها إله، وهو بيتعلم منها مباشرة بدون… أوراق نفس اليوم LoRA اختصار Low-Rank Adaptation، يعني تعديل وتدريب نموذج ذكاء اصطناعي ضخم بس نضيف طبقات صغيرة خفيفة… أوراق نفس اليوم diffusion transformer هالنموذج بدمج فكرة الـ diffusion مع بنية الـ transformer، يعني بيستفيد من قوة الـ transformer… أوراق نفس اليوم Recursively Self-Improving المفهوم يعني إن النظام يقدر يطوّر نفسه بشكل متكرر، كل مرة بيحسّن النسخة الجاية من نفسه، بنسمع… أوراق نفس اليوم distillation تقنية بنأخذ فيها نموذج ذكاء اصطناعي كبير وقوي ونعلّم نموذج أصغر يحاكيه، عشان نحصل على أداء شبه… أوراق نفس اليوم attention الـ attention هو آلية بتخلي النموذج يركز على أجزاء معينة من النص وقت ما بيولد أو يفهم، يعني… أوراق نفس اليوم Prolog Prolog لغة برمجة مخصصة للمنطق والقواعد، بنكتب فيها حقائق وقواعد وبنستعلم عنها، بنستعملها بحل… أوراق نفس اليوم planning Planning يعني التخطيط، وهو عملية بنحدد فيها الخطوات المطلوبة للوصول لهدف معين، بنسمعه عشان كل… أوراق نفس اليوم KV cache تقنية بتخزّن المفاتيح والقيم اللي حسبناها قبل هيك عشان نستخدمها مرة ثانية. أوراق نفس اليوم MoE اختصار لـ Mixture of Experts، يعني نموذج فيه مجموعات من الخبراء المتخصصين كل واحد بيشتغل على… أوراق نفس اليوم multimodal VQA multimodal VQA هو نظام بقدر يجاوب على أسئلة بتعتمد على أكتر من نوع بيانات، زي صورة ونص سوا… أوراق نفس اليوم